JP2017138808A - Information processing device and information processing method - Google Patents
Information processing device and information processing method Download PDFInfo
- Publication number
- JP2017138808A JP2017138808A JP2016019294A JP2016019294A JP2017138808A JP 2017138808 A JP2017138808 A JP 2017138808A JP 2016019294 A JP2016019294 A JP 2016019294A JP 2016019294 A JP2016019294 A JP 2016019294A JP 2017138808 A JP2017138808 A JP 2017138808A
- Authority
- JP
- Japan
- Prior art keywords
- parameter
- information processing
- inference
- difference
- processing apparatus
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 61
- 238000003672 processing method Methods 0.000 title claims description 4
- 230000013016 learning Effects 0.000 claims abstract description 82
- 238000000034 method Methods 0.000 claims description 27
- 238000003384 imaging method Methods 0.000 claims description 20
- 238000013528 artificial neural network Methods 0.000 claims description 3
- 239000000203 mixture Substances 0.000 claims description 2
- 238000004590 computer program Methods 0.000 claims 1
- 238000007689 inspection Methods 0.000 description 19
- 238000013527 convolutional neural network Methods 0.000 description 17
- 230000006870 function Effects 0.000 description 11
- 238000004364 calculation method Methods 0.000 description 6
- 238000011176 pooling Methods 0.000 description 5
- 239000013598 vector Substances 0.000 description 5
- 238000013500 data storage Methods 0.000 description 4
- 238000010191 image analysis Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000009434 installation Methods 0.000 description 3
- 238000007726 management method Methods 0.000 description 3
- 238000003825 pressing Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 101150092509 Actn gene Proteins 0.000 description 2
- 230000004913 activation Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
Abstract
Description
本発明は、追加学習を行うことができる情報処理装置および情報処理方法に関する。 The present invention relates to an information processing apparatus and an information processing method capable of performing additional learning.
近年、人物の顔画像を使った顔認証の需要が高まっている。顔認証の精度を高めるためには、照明条件、顔向き条件、撮像ノイズなどといった、画像の見え方に様々な変動を与える撮影条件の違いに対応する必要がある。すべての条件変動に対応したモデルパラメータを予め学習しておくことは困難であるが、カメラの設置現場ごとの変動の範囲は限定的であるので、予めモデルパラメータを学習しておくことはできる。そして、予め学習しておいたモデルパラメータに対して、現場で取得した画像データを追加学習することで効果的に精度を高めることができる。しかし、昼には昼の画像しか収集できないなど、一度に取得できる画像データの条件には限界があるため、複数回に分けて追加学習を行うことが考えられる。
このような複数回の追加学習を行う場合、最新の画像データに適合したモデルパラメータを学習することで、過去に学習した情報を忘却してしまうということが問題となる。
この問題に対し、特許文献1では、追加学習のたびにニューラルネットワークに中間ユニットを追加し、追加したユニットに関する重みだけが更新しやすくなるような学習方法によって、過去に学習した重みを維持する方法が提案されている。
In recent years, there has been an increasing demand for face authentication using human face images. In order to increase the accuracy of face authentication, it is necessary to deal with differences in shooting conditions that cause various changes in the appearance of an image, such as illumination conditions, face orientation conditions, and imaging noise. Although it is difficult to learn in advance the model parameters corresponding to all the condition changes, the range of changes for each camera installation site is limited, so that the model parameters can be learned in advance. The accuracy can be effectively increased by additionally learning image data acquired on site with respect to the model parameters learned in advance. However, since there are limits to the conditions of image data that can be acquired at one time, such as the ability to collect only daytime images in the daytime, additional learning may be performed in multiple steps.
When such additional learning is performed a plurality of times, there is a problem that information learned in the past is forgotten by learning model parameters suitable for the latest image data.
With respect to this problem, in
しかし、特許文献1の方法では、追加学習のたびに中間ユニットを追加する必要があり、ネットワークのパラメータ数が増えることで、モデルパラメータの保持に必要なメモリ使用量や、学習および推論に必要な計算量が増大してしまうという課題があった。
上記課題を解決するために、本発明は、過去に学習した情報を忘却することなく、追加学習に関する装置側の負担増大を抑制することができる情報処理装置を提供することを目的とする。
However, in the method of
In order to solve the above-described problems, an object of the present invention is to provide an information processing apparatus that can suppress an increase in a burden on the apparatus side related to additional learning without forgetting information learned in the past.
上記の目的を達成するために、本発明の一態様による情報処理装置は、パラメータを用いて入力データに対する推論を行う情報処理装置であって、前記入力データを取得する取得手段と、追加学習前のパラメータを基本パラメータとして記憶する第1の記憶手段と、前記推論に使用されるパラメータと前記基本パラメータとの差分である第1の差分パラメータを記憶する第2の記憶手段と、前記基本パラメータに対する追加学習を行い、追加学習後のパラメータと前記基本パラメータとの差分を第2の差分パラメータとして計算する追加学習手段と、前記第1の差分パラメータと前記第2の差分パラメータとに基づいて、前記第2の記憶手段に記憶された前記第1の差分パラメータを更新する更新手段と、前記基本パラメータと、前記更新手段により更新された前記第1の差分パラメータとに基づいてモデルパラメータを生成し、該生成されたモデルパラメータを用いて前記入力データに対する推論を行う推論手段とを備える。 In order to achieve the above object, an information processing apparatus according to an aspect of the present invention is an information processing apparatus that performs inference on input data using parameters, and includes an acquisition unit that acquires the input data, and additional learning before A first storage means for storing the first parameter as a basic parameter; a second storage means for storing a first difference parameter that is a difference between the parameter used for the inference and the basic parameter; and Based on the additional learning means for performing additional learning and calculating the difference between the parameter after additional learning and the basic parameter as a second difference parameter, the first difference parameter and the second difference parameter, Updating means for updating the first difference parameter stored in the second storage means; the basic parameter; and the updating means. Generating the model parameters based on said updated first difference parameter by, and a inference means for performing inference with respect to the input data using the model parameters the produced.
本発明によれば、過去に学習した情報を忘却することなく、追加学習を行うための装置側の負担増大を抑制することができる。 According to the present invention, it is possible to suppress an increase in the burden on the apparatus side for performing additional learning without forgetting information learned in the past.
以下、添付図面を参照して、本発明を実施するための実施形態を詳細に説明する。以下に説明する実施形態は、本発明の実現手段としての一例であり、本発明が適用される装置の構成や各種条件によって適宜修正または変更されるべきものであり、本発明は以下の実施形態に限定されるものではない。
実施形態1
以下、顔認証による入退室管理システムを例にとって本発明の実施形態1について説明する。
本システムは、建物内の所定のエリアに入ろうとする人物の画像を現場(当該エリア近傍)に備え付けられたカメラから取得し、予め登録しておいた複数の登録画像と照合することにより、当該人物の侵入を許可するか否かを判定するものである。許可すると判定した場合、本システムは当該エリアの出入口を開閉するゲートを開く等の操作を行う。許可しないと判定した場合、本システムはゲートを閉じたままにする等の操作を行う。本実施形態では、ゲートは、初期設定において、閉じられているとする。また、カメラは建物内に設置されているとする。
本実施形態では、顔認証の推論を行うための数値モデル(数学モデル)として、畳み込みニューラルネットワーク(CNN)を用いる。なお、本発明の数値モデルはCNNに限定されない。CNNは、Convolutional Neural Networkの略である。
DESCRIPTION OF EMBODIMENTS Hereinafter, embodiments for carrying out the present invention will be described in detail with reference to the accompanying drawings. The embodiment described below is an example as means for realizing the present invention, and should be appropriately modified or changed according to the configuration of the apparatus to which the present invention is applied and various conditions. The present invention is described below. It is not limited to.
Hereinafter, the first embodiment of the present invention will be described by taking an entrance / exit management system based on face authentication as an example.
This system obtains an image of a person who intends to enter a predetermined area in a building from a camera provided in the field (near the area) and compares it with a plurality of registered images registered in advance. It is determined whether to allow intrusion of a person. If it is determined to be permitted, the system performs an operation such as opening a gate that opens and closes the entrance / exit of the area. If it is determined not to permit, the system performs an operation such as keeping the gate closed. In this embodiment, it is assumed that the gate is closed in the initial setting. It is assumed that the camera is installed in a building.
In the present embodiment, a convolutional neural network (CNN) is used as a numerical model (mathematical model) for inferring face authentication. The numerical model of the present invention is not limited to CNN. CNN is an abbreviation for Convolutional Neural Network.
(畳み込みニューラルネットワーク:CNN)
図1はCNNの例を表す図である。このCNNは、1つの顔画像を人物の固有性を表す抽象度の高い特徴ベクトルへ変換する。顔認証では、検査対象の顔画像(検査画像)と、予め登録された比較対象の顔画像(登録画像)とをそれぞれCNNに入力し、得られた2つの特徴ベクトルを照合することで、それらが同一人物か別人かを推定する。照合方法としては、例えばSVM(Support Vector Machine)等の識別器を用いる方法や、特徴ベクトル間の単純なユークリッド距離が予め定めた閾値よりも大きいか小さいかに基づき判定する方法などがある。なお、本実施形態で使用可能な照合方法は上記したものに限定されない。
図1のCNNは4種類の演算要素(Convn、Pooln、ActnおよびFulln)を含む。Convnは畳み込み演算、Poolnはプーリング、Actnは活性化関数、Fullnは全結合演算を表す。以下、それぞれの演算要素について説明する。
畳み込み演算がネットワークに含まれていることがCNNの特徴である。畳み込み演算は、多チャンネル画像(3階テンソル)から多チャンネル画像への変換であり、モデルパラメータをθとして、畳み込みカーネルW(4階テンソル)とバイアスb(ベクトル)とを持ち、式1のような線形演算で表される。
(Convolutional neural network: CNN)
FIG. 1 is a diagram illustrating an example of CNN. This CNN converts one face image into a feature vector with high abstraction that represents the uniqueness of a person. In face authentication, a face image to be inspected (inspection image) and a face image to be compared (registered image) registered in advance are input to the CNN, and the obtained two feature vectors are collated. Is the same or different person. As a collation method, for example, there is a method using a discriminator such as SVM (Support Vector Machine) or a method for judging based on whether a simple Euclidean distance between feature vectors is larger or smaller than a predetermined threshold. In addition, the collation method which can be used in this embodiment is not limited to the above.
The CNN in FIG. 1 includes four types of calculation elements (Convn, Pooln, Actn, and Fulln). Convn is a convolution operation, Pooln is a pooling, Actn is an activation function, and Fulln is a full join operation. Hereinafter, each calculation element will be described.
A feature of CNN is that a convolution operation is included in the network. The convolution operation is a conversion from a multi-channel image (third-order tensor) to a multi-channel image. The model parameter is θ, a convolution kernel W (fourth-order tensor) and a bias b (vector) are used. It is expressed by a linear operation.
添え字kは入力画像チャンネル、添え字lは出力画像チャンネル、添え字i、jは出力画素座標、添え字u、vは畳み込みカーネル上の画素座標である。Kは入力チャンネル数、U、Vはカーネルサイズ(幅および高さ)である。
プーリングは、画像の解像度を落とす演算である。プーリングとして、最大値プーリングや平均値プーリングなどを用いることができる。
活性化関数は、ニューラルネットの非線形性の基礎となっている。例えば、ロジスティックシグモイド関数や、Rectifier Linear Unit(ReLU)関数などが用いられる。
全結合演算は、入出力の全成分の間にパラメータ(畳み込みカーネル)Wによって重みをつけて加算し、バイアスbを付加する演算であり、式2のように表される。
Subscript k is an input image channel, subscript l is an output image channel, subscripts i and j are output pixel coordinates, and subscripts u and v are pixel coordinates on the convolution kernel. K is the number of input channels, U and V are kernel sizes (width and height).
Pooling is an operation that reduces the resolution of an image. As the pooling, maximum value pooling, average value pooling, or the like can be used.
The activation function is the basis of the nonlinearity of the neural network. For example, a logistic sigmoid function or a Rectifier Linear Unit (ReLU) function is used.
The all combination operation is an operation in which a bias (b) is added by adding a weight with a parameter (convolution kernel) W between all input and output components, and is expressed as
Dは入力ベクトルXの次元数である。
畳み込み演算や全結合演算は、モデルパラメータθ={W,b}に関して線形演算である。畳み込み演算および全結合演算は、式3のように関数Fで表記することができる。
Y=F(X,θ) (式3)
追加学習では、現場のデータを用いてモデルパラメータθを誤差逆伝搬法によって更新する。このとき、追加学習を繰り返すことで過去に学習した情報を忘却してしまう。この忘却を防止するために、本実施形態では、モデルパラメータθを基本パラメータθ0と差分パラメータΔθに分割して保持する。基本パラメータとは、現場設置前に予め学習したモデルパラメータで、追加学習によって更新されない。差分モデル(差分パラメータ)は基本モデル(基本パラメータ)からの差分で、現場設置時には0によって初期化され、追加学習によって更新される。θ0およびΔθ間で対応するモデルパラメータはすべて階数および次元数が同一である。基本パラメータと差分パラメータにより、式3は式4のように表される。
Y=F(X, θ0+Δθ) (式4)
D is the number of dimensions of the input vector X.
The convolution operation and the fully combined operation are linear operations with respect to the model parameter θ = {W, b}. The convolution operation and the full join operation can be expressed by a function F as shown in
Y = F (X, θ) (Formula 3)
In the additional learning, the model parameter θ is updated by the error back propagation method using on-site data. At this time, the information learned in the past is forgotten by repeating additional learning. In order to prevent this forgetting, in this embodiment, the model parameter θ is divided into a basic parameter θ 0 and a difference parameter Δθ and held. Basic parameters are model parameters learned in advance before installation on the site, and are not updated by additional learning. The difference model (difference parameter) is a difference from the basic model (basic parameter), which is initialized by 0 when installed on site and updated by additional learning. The model parameters corresponding to θ 0 and Δθ all have the same rank and dimension.
Y = F (X, θ 0 + Δθ) (Formula 4)
(情報処理装置10のハードウェア構成)
図2は本実施形態に係る入退室管理システムである情報処理装置10のハードウェア構成を示す図である。情報処理装置10は画像解析をするので、画像解析装置と称することもできる。情報処理装置(画像解析装置)10は、撮像装置11、CPU(Central Processing Unit)12、記憶装置13、ゲート装置14、入力装置15、および出力装置16を有する。各装置は、互いに通信可能に構成され、バス17等により接続されている。なお、各装置は、互いに無線接続されてもよい。
撮像装置11はカメラを含んでおり、通過しようとする人物の様子を撮像する。撮像装置11には時計も内蔵されており、撮像装置11は撮像の時刻や時間帯(朝・昼・夜)を検出することができる。撮像装置11は動画および静止画像を撮像することができる。
CPU12は、情報処理装置10の動作をコントロールし、記憶装置13に格納されたプログラムの実行等を行う。
(Hardware configuration of information processing apparatus 10)
FIG. 2 is a diagram illustrating a hardware configuration of the
The
The
記憶装置13は、磁気記憶装置、半導体メモリ等のストレージデバイスを含み、CPU12の動作に基づき読み込まれたプログラムを記憶する。また、記憶装置13は、長時間記憶しなくてはならないデータ等を記憶する。本実施形態では、CPU12が、記憶装置13に格納されたプログラムの手順に従って処理を行うことによって、情報処理装置10における機能が実現される。また、記憶装置13は、本実施形態の情報処理装置10が処理対象とする画像および認証結果(推論結果)等を記憶する。本実施形態では、記憶装置13は、基本パラメータ、差分パラメータおよび仮差分パラメータ(後述)を記憶する。
ゲート装置14は、建物内の所定のエリアの出入口を開閉するゲートを含む。ゲート装置14のゲートは、情報装置装置10の推論結果に応じて開閉される。
The
The
入力装置15および出力装置16は、情報処理装置(顔認証システム)10の作業者(監視員、ユーザ)が情報処理装置10に対して操作を行うためのインターフェース装置である。入力装置15は、マウス、キーボード、タッチパネルデバイス、ボタン等を含み、作業者は入力装置15を介して各種の指示を情報処理装置10に入力する。例えば、作業者は、入力装置15を介して、推論の結果が正しいか否かに関する情報を入力する。出力装置16は、液晶パネル、外部モニタ、アラーム機器等を含み、各種の情報を作業者に出力する。
なお、情報処理装置10のハードウェア構成は、上述した構成に限定されない。例えば、情報処理装置10は、各種の装置間で通信を行うためのI/O装置を備えてもよい。例えば、I/O装置は、メモリーカード、USBケーブル等の入出力部、有線、無線等による送受信部である。
The
Note that the hardware configuration of the
(情報処理装置10の機能構成)
図3は、実施形態に係る情報処理装置(画像解析装置)10の機能構成を示す図である。情報処理装置10の処理および機能は、図3に示す各部により実現される。
情報処理装置10は、データ取得部31、データ記憶部32、登録情報記憶部33、推論部34、推論結果記憶部35、推論結果表示部36、正解情報入力部37、ゲート駆動部38およびアラーム出力部39を有する。さらに、情報処理装置10は、差分パラメータ記憶部40、基本パラメータ記憶部41、仮差分パラメータ学習部42、差分パラメータ調整部43および追加学習回数記憶部44を有する。
データ取得部31は、人物の顔画像を撮像するカメラであり、撮像した画像を入力データとして取得し、顔検出を行った後、顔画像を抽出してデータ記憶部32に送る。データ記憶部32は、データ取得部31から受け取った顔画像を記憶する。登録情報記憶部33には、ゲート通過を許可する人物の顔画像を予め登録しておく。登録情報記憶部33は、登録した顔画像を記憶するので、登録画像記憶部と称することもできる。
(Functional configuration of information processing apparatus 10)
FIG. 3 is a diagram illustrating a functional configuration of the information processing apparatus (image analysis apparatus) 10 according to the embodiment. The processing and functions of the
The
The data acquisition unit 31 is a camera that captures a human face image, acquires the captured image as input data, performs face detection, extracts the face image, and sends the face image to the
推論結果記憶部35は検査画像と推論結果を記憶する。推論結果表示部36は、液晶ディスプレイ等からなる。推論結果表示部36は、推論結果記憶部35から受け取る情報(推論の結果、入力データ(検査画像)等)を表示する。
正解情報入力部37は、情報処理装置10の作業者が正解情報(後述する)を情報処理装置10に入力する際に使用する入力部である。入力された正解情報は推論結果記憶部35に記憶される。
ゲート駆動部38は、ゲートを駆動してゲートを開閉する。アラーム出力部39は、推論部34からアラーム信号を受信すると、音や文字等によるアラームを発し、アラーム信号が受信されたことを作業者に知らせる。
基本パラメータ記憶部41には、情報処理装置10(撮像装置11)の現場への設置に先立ち(例えば、情報処理装置の出荷時に)予め学習しておいたCNNのモデルパラメータが基本パラメータとして記憶されている。
差分パラメータ記憶部40には、撮像装置11の現場設置後に基本パラメータに対して追加学習を行うことによって学習したモデルパラメータと、基本パラメータとの差分が、差分パラメータとして記憶されている。情報処理装置10が現場に設置される際には、差分パラメータはすべて0の値で初期化される。撮像装置11の現場設置後に追加学習によって最初に得た差分パラメータを、当初差分パラメータと称する。
The inference
The correct information input unit 37 is an input unit used when an operator of the
The
The basic
The difference
推論部34は、基本パラメータ記憶部41および差分パラメータ記憶部40からそれぞれ基本パラメータθ0および差分パラメータΔθを読み出し、加算することで、モデルパラメータθ=θ0+Δθを構成する。そして、推論部34は、データ記憶部32に記憶された検査対象人物の顔画像に対し、登録情報記憶部33に記憶された登録人物の顔画像を用いて、人物認証を行う。推論部34は、推論結果(すなわち検査人物が登録人物のいずれと一致する、あるいは、いずれの人物とも一致しない)とともに0から1の範囲の認証信頼度を出力(生成)する。認証信頼度の数値が0に近ければ推論結果が誤りである可能性が高いことを表し、1に近ければ推論結果が正しい可能性が高いことを表す。なお、認証信頼度は、0から1の範囲で表示するのではなく、0%から100%の範囲で表示してもよい。図4および図5において認証信頼度は%で表示している。本実施形態では、認証信頼度は、検査画像と登録画像の一致率に基づく数値である。
The
認証信頼度が事前に定めたある閾値(例えば0.9または90%)以上であった場合、情報処理装置10は推論結果に応じてゲート駆動部38によってゲートを操作する(開閉する)。すなわち、検査人物が登録人物のいずれかであると判定され且つ認証信頼度が閾値以上であった場合、情報処理装置10(推論部34)はゲートを開けるための信号(指示)をゲート駆動部38に送る。その結果、情報処理装置10はゲートを開けることになる。検査人物が登録人物のいずれでもないと判定され且つ認証信頼度が閾値以上であった場合、情報処理装置10はゲートを閉じたままにする。
When the authentication reliability is equal to or higher than a predetermined threshold (for example, 0.9 or 90%), the
一方、認証信頼度が閾値よりも低かった場合、本実施形態では、推論結果が正しいかどうかを作業者に確認させる。より詳しくは、情報処理装置10は推論結果記憶部35に検査画像と推論結果を記憶し、その情報(検査画像と推論結果に関する情報)を推論結果表示部36に送る。そして、推論結果表示部36は、当該情報を表示する。つまり、推論結果表示部36は、推論の結果と入力データ(検査画像)を表示する。この場合、情報処理装置10(推論部34)は、さらに、アラーム出力部39にアラーム信号を出力する。アラーム出力部39はアラーム信号を受信すると、作業者を呼ぶためのアラームを発する。アラームを知覚した作業者は、推論結果表示部36に表示された推論結果と検査画像を確認し、正解情報入力部37より正解情報(すなわち検査人物が正しくは誰であるかに関する情報)を入力する。情報処理装置10は、正解情報を推論結果と検査画像とに紐づけて推論結果記憶部35に記憶する。このような手順によって、認証信頼度の低い画像サンプル(検査画像)が正解情報とともに推論結果記憶部35に蓄積されていく。
On the other hand, when the authentication reliability is lower than the threshold value, in this embodiment, the operator is made to confirm whether the inference result is correct. More specifically, the
なお、図3に示す各機能ブロックは、プログラムとして、図2の記憶装置13に記憶され、CPU12によって実行される。また、図3に示す機能ブロックの少なくとも一部をハードウェアにより実現してもよい。ハードウェアにより実現する場合、例えば、所定のコンパイラを用いることで、各ステップを実現するためのプログラムからFPGA上に自動的に専用回路を生成すればよい。FPGAは、Field Programmable Gate Arrayの略である。また、FPGAと同様にしてGate Array回路を形成し、ハードウェアとして実現するようにしてもよい。また、図3に示す機能ブロックの少なくとも一部は、ASIC(Application Specific Integrated Circuit)により実現するようにしてもよい。
Note that each functional block shown in FIG. 3 is stored as a program in the
(推論結果表示部36の表示情報)
図4は、推論結果表示部36が表示する情報の例を示す。図4(a)は、検査人物(検査画像)が登録人物(登録画像)のいずれにも一致しないと推定され、その認証信頼度が67%であった場合の表示例である。推論結果表示部36は、3つの表示エリア51、52および54を有すると共に、2つのタッチパネル式ボタン53および55を有する。表示エリア51には、認証の対象である検査画像が表示される。表示エリア52には、推論結果(未登録)と認証信頼度(67%)と×画像とが表示される。「未登録」は、推論部34が検査人物の画像は登録人物の画像のいずれとも一致しないと推論した場合に表示される。
図4(a)の場合、認証信頼度が閾値未満であるので、アラーム出力部39からアラームが発せられ、作業者は推論結果表示部36を見ることになる。作業者がこの推論結果(推論結果表示部36に表示されている内容)が正しいと判断した場合、ボタン53を押下することで、推論結果がそのまま正解として記憶される。つまり、認証信頼度は67%であるので推論の信頼度は低い(認証信頼度は閾値90%より低い)と判定されたが、作業者が確認したところ、認証信頼度は100%としてよいと判断された。その結果、図4(a)の検査画像を登録画像と比較する際の認証信頼度は、以後の推論において閾値以上の信頼度を有することになる。図4(a)の例では、作業者はボタン53を押下することで、正解情報を入力していることになる。
(Display information of the inference result display unit 36)
FIG. 4 shows an example of information displayed by the inference
In the case of FIG. 4A, since the authentication reliability is less than the threshold value, an alarm is issued from the
表示エリア54には、登録人物(登録画像)のうち、検査人物と一致する可能性が高い人物が、可能性の順番に表示される。図4(a)の例では、表示エリア54には3つの人物画像が表示されており、左から右に行くにしたがって検査人物と一致する可能性が小さくなる。推論結果(未登録)が正しいか否かを判断する場合、作業者は、検査画像の人物が、表示エリア54に表示されている画像の人物と一致しないことを確認する。その後、作業者は、ボタン55を押下することにより、残りの登録画像を全て表示エリア54に表示して、当該残りの登録画像の全てが検査画像の人物ではないことを確認する。この確認により、作業者は、推定結果(未登録)が正しかったと判断することができる。
In the
もし表示エリア54に表示された人物の中に、検査人物と一致する人物が含まれていた場合、作業者はその画像を選択する。つまり、作業者は表示エリア54に表示された人物の中から正解の人物を選択する。選択された画像は、表示エリア53に表示される。これは、作業者が「未登録」という推論結果が正しくないと判断した場合である。したがって、この場合には「未登録」は「一致」に変更され、表示エリア53の×画像は、上記選択された画像に変更され、認証信頼度は100%に変更される。そして、このような変更後の情報が正解情報として、推論結果記憶部35に蓄積される。
If the person displayed in the
図4(b)は検査人物が登録人物のある人物と判定された場合の表示例である。図4(b)の場合も認証信頼度が閾値(90%)未満であるので、推論結果および認証信頼度等が推論結果表示部36に表示されている。作業者は、この推論結果が正しいかを、登録画像(表示エリア54に表示される登録画像)に基づいて判断する。この判断は図4(a)で説明した判断と同様の判断であるので説明は省略する。作業者がこの推論結果(検査人物が判定された登録人物である)が正しいと判断した場合、ボタン53を押下することで、推論結果がそのまま正解として推論結果記憶部35に記憶される。なお、登録画像には×画像も含まれている。図4(b)の例において、もし「一致」という推論結果が間違っている場合には、作業者は×画像(未登録)を選択する。つまり×画像(未登録)が正解情報として推論結果記憶部35に蓄積されることになる。
FIG. 4B shows a display example when the person to be inspected is determined to be a registered person. In the case of FIG. 4B as well, since the authentication reliability is less than the threshold (90%), the inference result, the authentication reliability, and the like are displayed on the inference
(推論結果記憶部35の記憶情報)
図5は、推論結果記憶部35に記憶される情報の例を示す。認証結果一件ごとに一行が記憶される。各検査画像に対し、「推論結果」と「認証信頼度」、作業者の入力した「正解(正解情報)」が記憶される。「推論結果」は、検査人物に一致する可能性が最も高い登録人物が「1位」列に記憶され、以下、可能性の高い順に「2位」から「4位」まで記憶される。「推論結果」と「認証信頼度」は、推論結果表示部36(図4)に表示するために用いられる。「正解」は、以下で説明する追加学習において用いられる。
(追加学習)
次に、追加学習の手順について説明する。追加学習によって現場により適合したモデルパラメータを構成することが可能になる。追加学習は、推論結果記憶部35に記憶されたサンプル数が一定数に達したとき、あるいは作業者が明示的に指示したとき、あるいは一定期間ごとに実施される。
図6は追加学習のフローである。以下、図6を参照して追加学習を説明する。なお、図6の説明においては、当初差分パラメータは既に学習(取得)されており、正解情報(後述)も取得されているとする。また、基本パラメータθ0は基本パラメータ記憶部41に記憶されているとする。
(Storage information of the inference result storage unit 35)
FIG. 5 shows an example of information stored in the inference
(Additional learning)
Next, a procedure for additional learning will be described. Additional learning makes it possible to construct model parameters that are more suitable for the field. The additional learning is performed when the number of samples stored in the inference
FIG. 6 is a flow of additional learning. Hereinafter, additional learning will be described with reference to FIG. In the description of FIG. 6, it is assumed that the initial difference parameter has already been learned (acquired) and correct answer information (described later) has also been acquired. Further, it is assumed that the basic parameter θ 0 is stored in the basic
まず、S61において、追加学習に用いる学習データの収集を行う。S61の学習データの収集は、本実施形態では、仮差分パラメータ学習部42が行う。すなわち、仮差分パラメータ学習部42は、推論結果記憶部35から、検査画像と正解情報とを取得する(追加学習データの取得)。Nをサンプル数とすると、検査画像はX={X1,X2,…,XN}と表され、正解情報はt={t1,t2,…、tN}と表される。tiは、0以上N以下の値をとり、0は登録人物のいずれにも一致しないことを表し、1以上N以下はいずれかの登録人物に一致することを表す。また、S61において、仮差分パラメータ学習部42は、基本パラメータ記憶部41から基本パラメータθ0を読み出す。
First, in S61, learning data used for additional learning is collected. In this embodiment, the temporary difference
次にS62において、仮差分パラメータ学習部42は、S61で取得した学習データを用いて、基本パラメータからの差分としてのパラメータ(仮差分パラメータ)を学習する(得る)。仮差分パラメータは、当初差分パラメータを計算(取得)した後に追加学習ごとに得られる基本パラメータからの差分である。
以下にS62における仮差分パラメータの学習方法を説明する。
CNNに含まれる線形演算(畳み込み演算ないし全結合演算)を式5のように構成する。
Next, in S62, the temporary difference
The temporary difference parameter learning method in S62 will be described below.
A linear operation (convolution operation or full join operation) included in CNN is configured as shown in Equation 5.
なお、CNNにおける仮差分パラメータの算出方法は上記の方法に限定されない。基本パラメータを初期値として誤差逆伝搬法で学習したのち、得られた(学習後の)パラメータと基本モデル(基本パラメータ)との差分を仮差分パラメータとしてもよい。また、上記の方法で仮差分パラメータを算出する対象は、CNNに含まれるすべての線形演算としてもよいし、一部の線形演算としてもよい。仮差分パラメータを算出する対象を一部の線形演算とする場合は、他の仮差分パラメータの算出方法と組み合わせてもよい。
図6の説明に戻る。S62で仮差分パラメータを得た後、S63へ進む。
S63において、差分パラメータ調整部43は、追加学習回数記憶部44に記憶されている追加学習回数mを読み出す。追加学習回数は、初期差分パラメータの学習後に追加学習が実行された回数(仮差分パラメータを学習した回数)を表す整数値で、情報処理装置10の現場設置時には0に初期化されている。
In addition, the calculation method of the temporary difference parameter in CNN is not limited to said method. After learning by the error back propagation method with the basic parameter as an initial value, a difference between the obtained parameter (after learning) and the basic model (basic parameter) may be used as a temporary difference parameter. In addition, the target for calculating the temporary difference parameter by the above method may be all the linear operations included in the CNN, or may be a part of the linear operations. When the target for calculating the temporary difference parameter is a part of the linear calculation, it may be combined with another temporary difference parameter calculation method.
Returning to the description of FIG. After obtaining the provisional difference parameter in S62, the process proceeds to S63.
In S <b> 63, the difference
次に、S64において、差分パラメータ調整部43は、仮差分パラメータΔθ’を用い、差分パラメータの調整(更新)を行う。差分パラメータ調整部43は、差分パラメータ記憶部40に記憶されている差分パラメータΔθを読み出し、式7のように差分パラメータを更新する。
Δθ←(1−α)Δθ+αΔθ’ (式7)
なお、最初の更新のときに差分パラメータ記憶部40に記憶されている差分パラメータΔθは、当初差分パラメータである。差分パラメータが更新されている場合、差分パラメータ記憶部40に記憶されている差分パラメータΔθは、最も最近更新された差分パラメータである。よってS64で更新される差分パラメータは、最も新しい差分パラメータ(直近の差分パラメータ)である。
ここで、αは、最も新しい差分パラメータ(差分パラメータ記憶部40から読み出された差分パラメータ)Δθと仮差分パラメータΔθ’の混合比である。αを、追加学習回数mを使って式8のように定めることで、更新後の差分パラメータΔθは、これまでの追加学習で算出した仮差分パラメータの平均となるように構成することができる。
Next, in S <b> 64, the difference
Δθ ← (1-α) Δθ + αΔθ ′ (Formula 7)
Note that the difference parameter Δθ stored in the difference
Here, α is a mixing ratio between the latest difference parameter (difference parameter read from the difference parameter storage unit 40) Δθ and the temporary difference parameter Δθ ′. By defining α using the number of additional learning m as shown in Expression 8, the updated difference parameter Δθ can be configured to be the average of the temporary difference parameters calculated in the past additional learning.
S65において、差分パラメータ調整部43は、更新後の差分パラメータを差分パラメータ記憶部40に記憶(保存)する。
S66において、差分パラメータ調整部43は、追加学習回数記憶部44に、増分した追加学習回数m+1を記憶(保存)する。
以上が追加学習の流れである。
上記手順における式8の重み設定方法(αの決め方)は、これまでの追加学習で算出した仮差分パラメータの平均となるように差分パラメータを構成しているが、本実施形態の重み設定方法は上記したような方法に限定されない。例えば、αを追加学習回数によらない定数として混合比を一定としてもよい。αを追加学習回数によらない定数とすれば、差分パラメータを仮差分パラメータの指数移動平均として構成することができる。
また、仮差分パラメータΔθ’を用いた差分パラメータΔθの調整(更新)は、上述した重み付きの加算に限らない。例えば、両者の積の平方など他の関数でもよい。
In S65, the difference
In S <b> 66, the difference
The above is the flow of additional learning.
In the above procedure, the weight setting method of Equation 8 (how to determine α) is configured so that the difference parameter is an average of the provisional difference parameters calculated in the additional learning so far, but the weight setting method of the present embodiment is The method is not limited to the method described above. For example, α may be a constant that does not depend on the number of additional learnings and the mixture ratio may be constant. If α is a constant that does not depend on the number of additional learnings, the difference parameter can be configured as an exponential moving average of the temporary difference parameter.
Further, the adjustment (update) of the difference parameter Δθ using the temporary difference parameter Δθ ′ is not limited to the weighted addition described above. For example, other functions such as the square of the product of both may be used.
(差分パラメータ調整用のインターフェース)
作業者が差分パラメータ調整方法(αの決め方)を指定できるよう、インターフェースを用いる(設ける)ことができる。図7は、そのようなインターフェース70の例を示す。インターフェース70は、ラジオボタン71とスライダー72とを有する。
図7において、まずラジオボタン71によって、混合結果が平均となるような調整方法(式8)か指数移動平均となるような調整方法かを選ぶことができる。指数移動平均を選択すると、さらにスライダー72によって混合比を調整することができる。スライダー72を0%に設定した場合、α=0となり、追加学習した仮差分パラメータΔθ’は差分パラメータに反映されない。スライダー72を100%に設定した場合、α=1となり、差分パラメータは、追加学習した仮差分パラメータΔθ’ですべて上書きされる。スライダー72を中間の値にした場合、αは当該値に応じた値となり、差分パラメータは仮差分パラメータΔθ’の指数移動平均となる。
(Difference parameter adjustment interface)
An interface can be used (provided) so that the operator can specify the difference parameter adjustment method (how to determine α). FIG. 7 shows an example of such an
In FIG. 7, first, the
上記したように、本実施形態では、モデルパラメータθを基本パラメータθ0と差分パラメータΔθとに分け、基本パラメータθ0は基本パラメータ記憶部41に記憶している。そして、基本パラメータは更新することなく、同じ値を使用し、差分パラメータΔθのみを更新している。差分パラメータは更新して使用するので、差分パラメータ記憶部40を設けるだけでよい。よって、追加学習のたびに中間ユニットを追加する必要はないし、モデルパラメータの保持に必要なメモリ使用量の増加もない。また、追加学習を繰り返しても、基本パラメータθ0は基本パラメータ記憶部41に記憶されているので、忘却されることはない。
つまり、上記した実施形態では、モデルパラメータを基本パラメータと差分パラメータとに分けて保持し、追加学習のたびに基本パラメータからの差分である仮差分パラメータを学習する。そして、差分パラメータに仮差分パラメータを加重加算することで差分パラメータを更新していく。このようにすることで、過去に追加学習した情報が忘却されることを防ぐとともに、効率的に追加学習をすることができる。
As described above, in the present embodiment divides the model parameters theta to the basic parameters theta 0 and the difference parameter [Delta] [theta], the basic parameters theta 0 is stored in the basic
That is, in the above-described embodiment, the model parameter is divided and held in the basic parameter and the difference parameter, and the temporary difference parameter that is a difference from the basic parameter is learned every additional learning. Then, the difference parameter is updated by weighting and adding the temporary difference parameter to the difference parameter. By doing in this way, it is possible to prevent the information additionally learned in the past from being forgotten and to perform additional learning efficiently.
(変形例)
上記した実施形態における追加学習の手順では、差分パラメータΔθを1つのみ保持していた。本発明は、差分パラメータΔθを1つのみ保持する構成に限定されず、複数の差分パラメータΔθを保持してもよい。以下に、変形例として、撮像環境に関連する条件により複数の差分パラメータを保持し、使い分ける場合について説明する。
撮像環境に関連する条件とは、例えば、朝・昼・夜といった時刻(時間帯)や、春・夏・秋・冬といった季節や、日照条件である(これらに限定されない)。このような条件に対して1つのモデルパラメータで対応するのではなく、条件毎に個別のモデルパラメータによって対応することで、それぞれの条件に特化した精度の高いモデルパラメータを獲得(用意)することができる。各条件に対して個別のモデルパラメータで対応するために、例えば、差分パラメータ記憶部40に読み書き操作をする際、撮像環境によって、どの差分パラメータを読み書き操作の対象とするかを選択できるようにする。
(Modification)
In the additional learning procedure in the above-described embodiment, only one difference parameter Δθ is held. The present invention is not limited to a configuration in which only one difference parameter Δθ is held, and a plurality of difference parameters Δθ may be held. Hereinafter, as a modification, a case where a plurality of difference parameters are held according to conditions related to the imaging environment and used properly will be described.
The conditions related to the imaging environment are, for example, time (time zone) such as morning, noon, and night, seasons such as spring, summer, autumn, and winter, and sunshine conditions (but not limited to these). Acquire (prepare) highly accurate model parameters specialized for each condition by responding to such conditions with individual model parameters for each condition instead of using one model parameter. Can do. In order to respond to each condition with individual model parameters, for example, when performing a read / write operation on the difference
例えば、朝・昼・夜の3つの条件それぞれに応じた差分パラメータを保持する場合、認証や追加学習を行う時刻が朝・昼・夜のいずれに属するかに応じ、対応する差分パラメータを選択して読み書きの対象とする。撮像装置11には時計が内蔵されており、撮像時刻が朝・昼・夜のいずれの時間帯の時刻であるのかは、撮像装置11が検出する(自動的に判定する)。
このようにすることによって、入力データ(検査画像)が作成された環境に応じて、複数の差分パラメータの中から1つの差分パラメータを利用することができる。
本実施形態では、撮像装置11は建物内に設置されているので、条件の中には、建物外の天気などのように情報処理装置10が自動的に判定できない条件もある。情報処理装置10が自動的に判定できない条件の場合、作業者が手動で条件を与えることもできる。その場合、図8のようなインターフェース80によって条件を作業者に選択させることができる。インターフェース80は複数の条件を表示(提示)し、作業者はそのうちの1つの条件を選択することができる。図8の例では、「曇り」、「晴れ」および「雨」という3つの条件がインターフェース80に表示されている。
For example, when the difference parameter corresponding to each of the three conditions of morning, noon, and night is held, the corresponding difference parameter is selected depending on whether the time for performing authentication or additional learning belongs to morning, day, or night. To read and write. The
In this way, one difference parameter can be used from among a plurality of difference parameters in accordance with the environment in which the input data (inspection image) is created.
In the present embodiment, since the
以上、本発明の実施形態(情報処理装置)を顔認証による入退室管理システムを例に説明したが、本発明は、追加学習によって精度の向上が期待される他のシステムに対しても適応可能である。そのような例として、音声認識、文字認識、スパムフィルタ、コンテンツレコメンデーション等が挙げられる。
(他の実施形態)
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
As described above, the embodiment (information processing apparatus) of the present invention has been described by taking the entrance / exit management system based on face authentication as an example. However, the present invention can be applied to other systems that are expected to improve accuracy by additional learning. It is. Examples thereof include voice recognition, character recognition, spam filter, content recommendation, and the like.
(Other embodiments)
The present invention supplies a program that realizes one or more functions of the above-described embodiments to a system or apparatus via a network or a storage medium, and one or more processors in the computer of the system or apparatus read and execute the program This process can be realized. It can also be realized by a circuit (for example, ASIC) that realizes one or more functions.
10…情報処理装置、11…撮像装置、12…CPU、13…記憶装置、14…ゲート装置、15…入力装置、16…出力装置、104…推論部
DESCRIPTION OF
Claims (15)
前記入力データを取得する取得手段と、
追加学習前のパラメータを基本パラメータとして記憶する第1の記憶手段と、
前記推論に使用されるパラメータと前記基本パラメータとの差分である第1の差分パラメータを記憶する第2の記憶手段と、
前記基本パラメータに対する追加学習を行い、追加学習後のパラメータと前記基本パラメータとの差分を第2の差分パラメータとして計算する追加学習手段と、
前記第1の差分パラメータと前記第2の差分パラメータとに基づいて、前記第2の記憶手段に記憶された前記第1の差分パラメータを更新する更新手段と、
前記基本パラメータと、前記更新手段により更新された前記第1の差分パラメータとに基づいてモデルパラメータを生成し、該生成されたモデルパラメータを用いて前記入力データに対する推論を行う推論手段と、
を備えることを特徴とする情報処理装置。 An information processing apparatus that performs inference on input data using parameters,
Obtaining means for obtaining the input data;
First storage means for storing parameters before additional learning as basic parameters;
Second storage means for storing a first difference parameter that is a difference between a parameter used for the inference and the basic parameter;
Additional learning means for performing additional learning on the basic parameter and calculating a difference between the parameter after additional learning and the basic parameter as a second difference parameter;
Updating means for updating the first difference parameter stored in the second storage means based on the first difference parameter and the second difference parameter;
Inference means for generating a model parameter based on the basic parameter and the first difference parameter updated by the updating means, and inferring the input data using the generated model parameter;
An information processing apparatus comprising:
前記推論の結果が正しいか否かに関する情報を入力する入力手段と、
をさらに備えることを特徴とする請求項1〜6のいずれか1項に記載の情報処理装置。 Display means for displaying the input data and a result of inference performed by the inference means for the input data;
Input means for inputting information on whether or not the result of the inference is correct;
The information processing apparatus according to claim 1, further comprising:
前記表示手段は、前記推論の信頼度を表す数値が所定の閾値未満の場合、前記推論の結果と前記入力データとを表示することを特徴とする請求項7に記載の情報処理装置。 The inference means generates a numerical value representing the reliability of the inference,
The information processing apparatus according to claim 7, wherein the display unit displays the inference result and the input data when a numerical value representing the reliability of the inference is less than a predetermined threshold.
人物の画像を撮像する撮像装置と、
複数の登録画像が記憶された登録画像記憶部と、
所定エリアへの出入口を開閉するゲートを駆動するゲート駆動部とを備え、
前記情報処理装置の推論手段による推論の結果、前記撮像装置により撮像された人物の画像が前記登録画像記憶部に記憶された複数の登録画像のいずれかと一致すると判断された場合、前記推論手段は前記ゲート駆動部にゲートを開けるための信号を送ることを特徴とするシステム。 The information processing apparatus according to any one of claims 1 to 12,
An imaging device for capturing an image of a person;
A registered image storage unit in which a plurality of registered images are stored;
A gate drive unit that drives a gate that opens and closes an entrance to a predetermined area,
As a result of inference by the inference means of the information processing apparatus, if it is determined that an image of the person imaged by the imaging apparatus matches any of a plurality of registered images stored in the registered image storage unit, the inference means A system for sending a signal for opening a gate to the gate driver.
追加学習前のパラメータを基本パラメータとして、前記推論に使用されるパラメータと前記基本パラメータとの差分である第1の差分パラメータを記憶手段に記憶するステップと、
前記基本パラメータに対する追加学習を行い、追加学習後のパラメータと前記基本パラメータとの差分を第2の差分パラメータとして計算するステップと、
前記第1の差分パラメータと前記第2の差分パラメータとに基づいて、前記記憶手段に記憶された前記第1の差分パラメータを更新するステップと、
前記基本パラメータと、更新された前記第1の差分パラメータとに基づいてモデルパラメータを生成し、該生成されたモデルパラメータを用いて前記入力データに対する推論を行うステップと、
を有することを特徴とする情報処理方法。 An information processing method for inferring input data using parameters,
Storing a first difference parameter, which is a difference between a parameter used for the inference and the basic parameter, in a storage unit, using the parameter before additional learning as a basic parameter;
Performing additional learning on the basic parameter, and calculating a difference between the parameter after additional learning and the basic parameter as a second difference parameter;
Updating the first difference parameter stored in the storage means based on the first difference parameter and the second difference parameter;
Generating a model parameter based on the basic parameter and the updated first difference parameter, and inferring the input data using the generated model parameter;
An information processing method characterized by comprising:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016019294A JP6661398B2 (en) | 2016-02-03 | 2016-02-03 | Information processing apparatus and information processing method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016019294A JP6661398B2 (en) | 2016-02-03 | 2016-02-03 | Information processing apparatus and information processing method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017138808A true JP2017138808A (en) | 2017-08-10 |
JP6661398B2 JP6661398B2 (en) | 2020-03-11 |
Family
ID=59565904
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016019294A Active JP6661398B2 (en) | 2016-02-03 | 2016-02-03 | Information processing apparatus and information processing method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6661398B2 (en) |
Cited By (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019080271A (en) * | 2017-10-27 | 2019-05-23 | ホーチキ株式会社 | Occupant monitoring system |
JP2019096179A (en) * | 2017-11-27 | 2019-06-20 | ホーチキ株式会社 | Behavior monitoring system |
JP2019101927A (en) * | 2017-12-06 | 2019-06-24 | 株式会社日立製作所 | Learning system and image retrieval system |
JP2019139720A (en) * | 2018-02-15 | 2019-08-22 | キヤノン株式会社 | Image processing device, imaging apparatus, image processing method, image processing program, and storage medium |
WO2019187277A1 (en) * | 2018-03-27 | 2019-10-03 | エバ・ジャパン株式会社 | Information retrieval system and program |
JP2020121713A (en) * | 2019-01-30 | 2020-08-13 | 株式会社ストラドビジョンStradvision,Inc. | Method and device for detecting vehicle occupancy by using passenger's point detected through image analysis for humans' status recognition |
CN111684474A (en) * | 2018-03-13 | 2020-09-18 | 欧姆龙株式会社 | Arithmetic device, arithmetic method, and program thereof |
JP2020533702A (en) * | 2017-09-13 | 2020-11-19 | コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. | Target person identification system and method |
JP2020536328A (en) * | 2018-08-27 | 2020-12-10 | ベイジン バイドゥ ネットコム サイエンス アンド テクノロジー カンパニー リミテッド | Battery detection method and device |
WO2021002719A1 (en) * | 2019-07-03 | 2021-01-07 | 한국과학기술원 | Video processing method and apparatus |
KR20210004859A (en) * | 2019-07-03 | 2021-01-13 | 한국과학기술원 | Video processing method and apparatus |
JPWO2019215868A1 (en) * | 2018-05-10 | 2021-04-01 | 日本電気株式会社 | Pattern recognition system, parameter generation method and parameter generation program |
WO2021157330A1 (en) | 2020-02-06 | 2021-08-12 | 株式会社日立ハイテク | Calculator, learning method of discriminator, and analysis system |
CN113408528A (en) * | 2021-06-24 | 2021-09-17 | 数贸科技(北京)有限公司 | Commodity image quality identification method and device, computing equipment and storage medium |
JP2021144749A (en) * | 2017-12-08 | 2021-09-24 | 日本電気株式会社 | Person collation device, method, and program |
JP2021152759A (en) * | 2020-03-24 | 2021-09-30 | 大日本印刷株式会社 | Information processing system, information processing method and learning model generation method |
JPWO2022024985A1 (en) * | 2020-07-27 | 2022-02-03 | ||
JP2023521118A (en) * | 2020-04-09 | 2023-05-23 | アイデンティー インコーポレイテッド | Liveness detection using devices containing illumination sources |
JP7482326B2 (en) | 2020-12-31 | 2024-05-13 | シャンハイ リンガン ジュエイン インテリジェント テクノロジー カンパニー リミテッド | Identity authentication method and device, electronic device, and storage medium |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06187315A (en) * | 1992-10-23 | 1994-07-08 | Nippondenso Co Ltd | Neural network type additional learning device |
US20050033709A1 (en) * | 2003-05-23 | 2005-02-10 | Zhuo Meng | Adaptive learning enhancement to automated model maintenance |
-
2016
- 2016-02-03 JP JP2016019294A patent/JP6661398B2/en active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06187315A (en) * | 1992-10-23 | 1994-07-08 | Nippondenso Co Ltd | Neural network type additional learning device |
US20050033709A1 (en) * | 2003-05-23 | 2005-02-10 | Zhuo Meng | Adaptive learning enhancement to automated model maintenance |
Non-Patent Citations (2)
Title |
---|
山口 暢彦 他: "関数空間上におけるノルムを用いた干渉量の定義と追加学習", 電子情報通信学会技術研究報告, vol. 第97巻 第448号, JPN6020000387, 12 December 1997 (1997-12-12), JP, pages 25 - 31, ISSN: 0004190713 * |
皆川 洋一 他: "再学習の必要のない追加学習法と計算量の削減", 電子情報通信学会技術研究報告, vol. 第99巻 第685号, JPN6020000384, 14 March 2000 (2000-03-14), JP, pages 73 - 80, ISSN: 0004190712 * |
Cited By (44)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020533702A (en) * | 2017-09-13 | 2020-11-19 | コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. | Target person identification system and method |
JP2019080271A (en) * | 2017-10-27 | 2019-05-23 | ホーチキ株式会社 | Occupant monitoring system |
JP7054331B2 (en) | 2017-10-27 | 2022-04-13 | ホーチキ株式会社 | Room occupancy monitoring system |
JP2019096179A (en) * | 2017-11-27 | 2019-06-20 | ホーチキ株式会社 | Behavior monitoring system |
JP2022169507A (en) * | 2017-11-27 | 2022-11-09 | ホーチキ株式会社 | behavior monitoring system |
JP7108395B2 (en) | 2017-11-27 | 2022-07-28 | ホーチキ株式会社 | behavior monitoring system |
JP2019101927A (en) * | 2017-12-06 | 2019-06-24 | 株式会社日立製作所 | Learning system and image retrieval system |
JP2021144749A (en) * | 2017-12-08 | 2021-09-24 | 日本電気株式会社 | Person collation device, method, and program |
US11776098B2 (en) | 2017-12-08 | 2023-10-03 | Nec Corporation | Person verification device and method and non-transitory computer readable media |
US11748864B2 (en) | 2017-12-08 | 2023-09-05 | Nec Corporation | Person verification device and method and non-transitory computer readable media |
US11495057B2 (en) | 2017-12-08 | 2022-11-08 | Nec Corporation | Person verification device and method and non-transitory computer readable media |
JP7106287B2 (en) | 2018-02-15 | 2022-07-26 | キヤノン株式会社 | Image processing device, imaging device, image processing method, image processing program, and storage medium |
JP2019139720A (en) * | 2018-02-15 | 2019-08-22 | キヤノン株式会社 | Image processing device, imaging apparatus, image processing method, image processing program, and storage medium |
CN111684474B (en) * | 2018-03-13 | 2024-04-16 | 欧姆龙株式会社 | Arithmetic device, arithmetic method, and recording medium |
CN111684474A (en) * | 2018-03-13 | 2020-09-18 | 欧姆龙株式会社 | Arithmetic device, arithmetic method, and program thereof |
WO2019187277A1 (en) * | 2018-03-27 | 2019-10-03 | エバ・ジャパン株式会社 | Information retrieval system and program |
JP2019174200A (en) * | 2018-03-27 | 2019-10-10 | エバ・ジャパン 株式会社 | Information search system and program |
TWI696924B (en) * | 2018-03-27 | 2020-06-21 | 日商Eba股份有限公司 | Intelligence exploration data search system and program |
RU2734870C2 (en) * | 2018-03-27 | 2020-10-23 | Эба Джапан Ко., Лтд. | Information retrieval system and information search program |
JPWO2019215868A1 (en) * | 2018-05-10 | 2021-04-01 | 日本電気株式会社 | Pattern recognition system, parameter generation method and parameter generation program |
JP2020536328A (en) * | 2018-08-27 | 2020-12-10 | ベイジン バイドゥ ネットコム サイエンス アンド テクノロジー カンパニー リミテッド | Battery detection method and device |
US11158044B2 (en) | 2018-08-27 | 2021-10-26 | Beijing Baidu Netcom Science And Technology Co., Ltd. | Battery detection method and device |
KR20210010541A (en) * | 2018-08-27 | 2021-01-27 | 베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디. | Battery detection method and device (BATTERY DETECTION METHOD AND DEVICE) |
JP7018135B2 (en) | 2018-08-27 | 2022-02-09 | ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッド | Battery detection method and equipment |
KR102494946B1 (en) * | 2018-08-27 | 2023-02-06 | 베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디. | Battery detection method and device (BATTERY DETECTION METHOD AND DEVICE) |
JP2020121713A (en) * | 2019-01-30 | 2020-08-13 | 株式会社ストラドビジョンStradvision,Inc. | Method and device for detecting vehicle occupancy by using passenger's point detected through image analysis for humans' status recognition |
KR102642058B1 (en) | 2019-07-03 | 2024-03-04 | 한국과학기술원 | Neural network processing method and apparatus using temporally adaptive, region-selective signaling |
KR20220000871A (en) * | 2019-07-03 | 2022-01-04 | 한국과학기술원 | Neural network processing method and apparatus using temporally adaptive, region-selective signaling |
WO2021002719A1 (en) * | 2019-07-03 | 2021-01-07 | 한국과학기술원 | Video processing method and apparatus |
KR20230008667A (en) * | 2019-07-03 | 2023-01-16 | 한국과학기술원 | Method and device for mage quality enhancement using multiple models of various mage signal characteristics |
KR102364628B1 (en) | 2019-07-03 | 2022-02-18 | 한국과학기술원 | Video processing method and apparatus |
KR102642059B1 (en) | 2019-07-03 | 2024-03-04 | 한국과학기술원 | Method and device for mage quality enhancement using multiple models of various mage signal characteristics |
KR20210004859A (en) * | 2019-07-03 | 2021-01-13 | 한국과학기술원 | Video processing method and apparatus |
WO2021157330A1 (en) | 2020-02-06 | 2021-08-12 | 株式会社日立ハイテク | Calculator, learning method of discriminator, and analysis system |
JP2021152759A (en) * | 2020-03-24 | 2021-09-30 | 大日本印刷株式会社 | Information processing system, information processing method and learning model generation method |
JP7476599B2 (en) | 2020-03-24 | 2024-05-01 | 大日本印刷株式会社 | Information processing system and information processing method |
JP2023521118A (en) * | 2020-04-09 | 2023-05-23 | アイデンティー インコーポレイテッド | Liveness detection using devices containing illumination sources |
JP7445335B2 (en) | 2020-04-09 | 2024-03-07 | アイデンティー インコーポレイテッド | Biogenic detection using devices containing illumination sources |
WO2022024985A1 (en) * | 2020-07-27 | 2022-02-03 | ファナック株式会社 | Inspection device |
JPWO2022024985A1 (en) * | 2020-07-27 | 2022-02-03 | ||
JP7502448B2 (en) | 2020-07-27 | 2024-06-18 | ファナック株式会社 | Inspection Equipment |
JP7482326B2 (en) | 2020-12-31 | 2024-05-13 | シャンハイ リンガン ジュエイン インテリジェント テクノロジー カンパニー リミテッド | Identity authentication method and device, electronic device, and storage medium |
CN113408528B (en) * | 2021-06-24 | 2024-02-23 | 数贸科技(北京)有限公司 | Quality recognition method and device for commodity image, computing equipment and storage medium |
CN113408528A (en) * | 2021-06-24 | 2021-09-17 | 数贸科技(北京)有限公司 | Commodity image quality identification method and device, computing equipment and storage medium |
Also Published As
Publication number | Publication date |
---|---|
JP6661398B2 (en) | 2020-03-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6661398B2 (en) | Information processing apparatus and information processing method | |
EP3186751B1 (en) | Localized learning from a global model | |
US11551103B2 (en) | Data-driven activity prediction | |
JP6813055B2 (en) | Image processing system, image processing method and program storage medium | |
CN111126573A (en) | Model distillation improvement method and device based on individual learning and storage medium | |
Trapeznikov et al. | Multi-stage classifier design | |
CN105787434A (en) | Method for identifying human body motion patterns based on inertia sensor | |
WO2020194497A1 (en) | Information processing device, personal identification device, information processing method, and storage medium | |
JP2013537618A (en) | Object tracking and recognition method and apparatus | |
US10481239B2 (en) | Indoor room-localization system and method therof | |
JP2019125002A (en) | Face authentication device | |
US20230115987A1 (en) | Data adjustment system, data adjustment device, data adjustment method, terminal device, and information processing apparatus | |
Hu et al. | Building occupancy detection and localization using CCTV camera and deep learning | |
Abid et al. | Improving indoor geomagnetic field fingerprinting using recurrence plot-based convolutional neural networks | |
CN114005149A (en) | Training method and device for target angle detection model | |
CN113569671A (en) | Abnormal behavior alarm method and device | |
JP2020170252A (en) | Image processing device, image processing method, and program | |
JPWO2019215780A1 (en) | Identification system, model re-learning method and program | |
US9832427B2 (en) | Camera, camera system, and self-diagnosis method | |
JP2020187389A (en) | Mobile body locus analysis apparatus, mobile body locus analysis program, and mobile body locus analysis method | |
JP7239002B2 (en) | OBJECT NUMBER ESTIMATING DEVICE, CONTROL METHOD, AND PROGRAM | |
KR20140095601A (en) | Pose classification apparatus and pose classification method | |
JP6981553B2 (en) | Identification system, model provision method and model provision program | |
JP2018049566A (en) | Image processing apparatus, image processing method, and program | |
Abrol et al. | Human activity recognition using resnet-34 model |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190128 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20191223 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200114 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200212 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6661398 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: R3D03 |