JP2018045369A - Recognition device, recognition system, recognition method, and program - Google Patents
Recognition device, recognition system, recognition method, and program Download PDFInfo
- Publication number
- JP2018045369A JP2018045369A JP2016178601A JP2016178601A JP2018045369A JP 2018045369 A JP2018045369 A JP 2018045369A JP 2016178601 A JP2016178601 A JP 2016178601A JP 2016178601 A JP2016178601 A JP 2016178601A JP 2018045369 A JP2018045369 A JP 2018045369A
- Authority
- JP
- Japan
- Prior art keywords
- recognition
- request
- unit
- class
- input information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
Description
本発明の実施形態は、認識装置、認識システム、認識方法およびプログラムに関する。 Embodiments described herein relate generally to a recognition apparatus, a recognition system, a recognition method, and a program.
画像認識、音声認識および音声合成などのクラウドサービスでは、ユーザ側の端末(ユーザ端末)からの要求がクラウドに送信され、クラウドでの処理結果がユーザ端末に返却されるという枠組みを取ることが通例である。クラウドは一般に複数台の機器で構成されるが、クラウド自体の設置箇所は少数である。 In cloud services such as image recognition, speech recognition, and speech synthesis, it is common to take a framework in which a request from a user terminal (user terminal) is transmitted to the cloud and the processing result in the cloud is returned to the user terminal. It is. The cloud is generally composed of a plurality of devices, but the number of locations where the cloud itself is installed is small.
上記のようなクラウドサービスでは、クラウド内の機器の負荷の分散、および、処理結果が返されるまでの応答時間の短縮などが求められている。 In the cloud service as described above, it is required to distribute the load of devices in the cloud and to shorten the response time until the processing result is returned.
実施形態の認識装置は、入力情報が属するクラスを求める認識処理の要求を下位装置から受信する受信部と、辞書情報を用いて認識処理を実行し、入力情報が属するクラスとの類似性を示すスコアとを出力する認識部と、スコアに基づいて、上位装置に要求を転送するか否かを判定する判定部と、転送すると判定された場合に、要求を上位装置に送信する送信部と、入力情報と求められたクラスとに基づいて、辞書情報を更新する更新部と、を備える。 The recognition apparatus according to the embodiment executes a recognition process using a dictionary unit and a receiving unit that receives a request for a recognition process for obtaining a class to which the input information belongs, and shows similarity between the class to which the input information belongs. A recognition unit that outputs a score, a determination unit that determines whether to transfer a request to a higher-level device based on the score, and a transmission unit that transmits a request to the higher-level device when it is determined to transfer, An updating unit that updates the dictionary information based on the input information and the obtained class.
以下に添付図面を参照して、この発明にかかる認識装置、認識システム、認識方法およびプログラムの好適な実施形態を詳細に説明する。 Exemplary embodiments of a recognition device, a recognition system, a recognition method, and a program according to the present invention will be described below in detail with reference to the accompanying drawings.
上記のように、従来は、1つまたは少数の地域に設置されるクラウド上に要求が送信されて処理される。このため、例えば類似した要求が行われることが多い地理的に近接した地点のユーザ端末からの要求であっても、遠隔地のクラウド上に送信して処理される場合がある。このため、応答時間が長くなる場合がある。また、すべての要求が遠隔地のクラウド上で一様に処理されるため、要求間の地理的近接性が処理結果に反映されない。 As described above, conventionally, a request is transmitted and processed on a cloud installed in one or a small number of regions. For this reason, for example, even a request from a user terminal at a geographically close point where similar requests are often made may be transmitted and processed on a remote cloud. For this reason, response time may become long. In addition, since all requests are processed uniformly on the remote cloud, the geographical proximity between the requests is not reflected in the processing result.
ユーザ端末からの同一の要求に対する応答性を向上するための仕組みとして、ユーザ端末からの要求をクラウド内のマスタサーバに中継するためのエッジサーバを階層的に各地に設ける構成がある。エッジサーバは、例えば過去の要求および処理結果を対にしてキャッシュする機能を持つ。エッジサーバは、過去の要求と同一の要求は上位サーバに転送せず、キャッシュされた結果をそのままユーザ側に応答する。しかし、要求が過去と同一になることがほとんどない画像認識などの場合には、上記のような構成は有効ではない。 As a mechanism for improving the responsiveness to the same request from the user terminal, there is a configuration in which edge servers for relaying the request from the user terminal to the master server in the cloud are provided hierarchically in various places. The edge server has a function of caching a pair of past requests and processing results, for example. The edge server does not transfer the same request as the previous request to the upper server, and responds to the user with the cached result as it is. However, in the case of image recognition or the like where the request is hardly the same as the past, the above configuration is not effective.
要求間の地理的近接性を反映するための仕組みとして、オンプレミスの形態で各地にシステムを構築し、システム上の辞書をそれぞれ別箇にメンテナンスする方法もある。しかし、システムが分散することによりメンテナンスのコストが増加する。 As a mechanism for reflecting the geographical proximity between requests, there is a method of constructing a system in each place in an on-premises form and maintaining a dictionary on the system separately. However, the cost of maintenance increases due to the distributed system.
本実施形態では、以下の流れで処理を行うことにより、クラウドシステム全体での辞書照合処理の量を変えずに、上位サーバに送信される要求および上位サーバでの処理量を減らすことにより、クラウド内の各サーバの負荷を軽減する。また、エッジサーバは、地域特性を反映した辞書情報(ローカル辞書)を要求の発生地点から近接した位置に自動的に構築する特性を持つ。これにより、システム全体の応答性および応答精度を効率的に高めることが可能となる。
(1)各地に配置された下位装置としてのエッジサーバが、ユーザ端末からの認識処理の要求を受け付ける。
(2)要求を受けたサーバ(エッジサーバ、または、最上位のマスタサーバ)は、自身の保持する辞書情報を用いて認識処理を実行する。サーバがマスタサーバでなく、かつ、認識結果の類似性を示すスコアが高くない場合、当該サーバは、要求を上位装置(上位のエッジサーバ、または、マスタサーバ)に転送する。それ以外の場合、サーバは、認識結果を下位のサーバまたはユーザ端末に返す。
(3)経由された全サーバを通じてユーザ端末に認識結果が返された後、経由された各サーバは、認識結果を用いて自身が保持する辞書を更新する。
In the present embodiment, by performing processing according to the following flow, without changing the amount of dictionary collation processing in the entire cloud system, by reducing the request sent to the upper server and the processing amount at the upper server, the cloud Reduce the load on each server. In addition, the edge server has a characteristic of automatically constructing dictionary information (local dictionary) reflecting regional characteristics at a position close to the request generation point. As a result, the responsiveness and response accuracy of the entire system can be efficiently increased.
(1) An edge server as a lower device arranged in various places receives a request for recognition processing from a user terminal.
(2) The server (edge server or highest-level master server) that has received the request executes recognition processing using dictionary information held by itself. If the server is not the master server and the score indicating the similarity of the recognition results is not high, the server transfers the request to a higher-level device (higher-level edge server or master server). In other cases, the server returns the recognition result to the lower server or user terminal.
(3) After the recognition result is returned to the user terminal through all the servers that have been routed, each routed server updates the dictionary held by itself using the recognition result.
本実施形態の認識システムは、例えば画像認識および音声認識などのパターン認識処理を実行する。認識処理では、認識処理の対象として入力された情報(入力情報:画像、音声など)が属するクラスが求められる。認識対象となるクラスは、どのようなクラスであってもよい。例えば、画像内の物体を認識する場合は、物体を分類する複数のクラス(車、人物、動物など)を認識対象のクラスとしてもよい。画像内の人物の顔を認識する場合は、各人物の顔を認識対象のクラスとしてもよい。 The recognition system of the present embodiment executes pattern recognition processing such as image recognition and voice recognition. In the recognition process, a class to which information (input information: image, sound, etc.) input as a target of the recognition process belongs is obtained. The class to be recognized may be any class. For example, when recognizing an object in an image, a plurality of classes (car, person, animal, etc.) for classifying the object may be set as classes to be recognized. When recognizing a person's face in an image, each person's face may be a recognition target class.
適用可能な認識処理は画像認識および音声認識に限られるものではなく、従来から用いられているあらゆる認識処理を適用できる。以下では、主に画像認識に適用する場合を例に説明する。 Applicable recognition processing is not limited to image recognition and voice recognition, and any recognition processing conventionally used can be applied. Hereinafter, a case where the present invention is mainly applied to image recognition will be described as an example.
図1は、本実施形態にかかる認識システムの構成の一例を示すブロック図である。図1に示すように認識システムは、クラウド10と、ユーザ端末300a〜300dと、を含む。
FIG. 1 is a block diagram illustrating an example of a configuration of a recognition system according to the present embodiment. As shown in FIG. 1, the recognition system includes a cloud 10 and
クラウド10は、認識処理の要求をユーザ端末300a〜300dから受け付け、要求に応じて認識処理を実行し、認識結果をユーザ端末300a〜300dに返す。クラウド10と、ユーザ端末300a〜300dとは、例えばインターネットなどの任意のネットワーク形態により接続される。
The cloud 10 receives a request for recognition processing from the
以下では、区別する必要がない場合はユーザ端末300a〜300dを単にユーザ端末300という。ユーザ端末300の個数は4に限られるものではなく、任意の個数とすることができる。
Below, when it is not necessary to distinguish,
ユーザ端末300は、ユーザの操作を受け、画像を含む要求をクラウド10中の近接したエッジサーバ100に送信する。例えば、ユーザはユーザ端末300に備えられる撮像装置(カメラなど)により顔を含む画像を撮影する。ユーザ端末300は、ユーザによる顔認識の指示に応じて、画像を含む要求であって、画像の認識処理(顔認証)の要求をクラウド10に送信する。ユーザ端末300は、クラウド10から認識処理の処理結果を受け取り、処理結果を表示または蓄積する。
The user terminal 300 receives a user operation and transmits a request including an image to the
ユーザ端末300は、携帯電話、スマートフォン、タブレット端末、および、パーソナルコンピュータなどに、要求の送信機能、および、処理結果の受信機能などを備えたクライアントアプリケーションを搭載することによって構成できる。クラウド10が提供するWebサービスにこれらのクライアントアプリケーションと等価な機能を備えさせ、ユーザ端末300は、このサービスにアクセスするように構成してもよい。 The user terminal 300 can be configured by mounting a client application having a request transmission function, a processing result reception function, and the like on a mobile phone, a smartphone, a tablet terminal, and a personal computer. The Web service provided by the cloud 10 may be provided with a function equivalent to these client applications, and the user terminal 300 may be configured to access this service.
クラウド10は、マスタサーバ200と、認識装置としての複数のエッジサーバ100a〜100fと、を備えている。エッジサーバ100a〜100fは、区別する必要がない場合は単にエッジサーバ100という。エッジサーバ100の個数は6に限られるものではなく、任意の個数とすることができる。
The cloud 10 includes a
マスタサーバ200は、マスタサーバ200による認識処理に用いる辞書250を備えている。エッジサーバ100は、エッジサーバ100による認識処理に用いるローカル辞書150a〜150fを備えている。ローカル辞書150a〜150fは、区別する必要がない場合は単にローカル辞書150という。
The
クラウド10は、階層的に構成された複数のサーバを含む。クラウド10内のサーバは、マスタサーバ200とエッジサーバ100とに二分される。マスタサーバ200は、下位に1以上のエッジサーバ100が接続され、上位にはサーバが接続されない。
The cloud 10 includes a plurality of servers configured hierarchically. Servers in the cloud 10 are divided into a
エッジサーバ100は、下位に、1以上の他のエッジサーバ100またはユーザ端末300が接続される。エッジサーバ100は、上位に1つのサーバ(他のエッジサーバ100、または、マスタサーバ200)が接続される。図1では、エッジサーバ100を2階層とする構成の例が示されているが、エッジサーバ100の階層数は1であってもよいし、3以上であってもよい。
One or more
最下層のエッジサーバ100は、例えば、予め定められた複数の地域(都道府県など)のいずれかにそれぞれ設置される。最下層のエッジサーバ100は、さらに、設置された地域内に存在するユーザ端末300からの要求を受付けるように構成してもよい。中位階層のエッジサーバ100は、例えばその下位に接続される各エッジサーバ100に対応する複数の地域を包括する地域(地方など)に設置される。
For example, the
このように地理的に定められる地域に応じてエッジサーバ100を設置することにより、要求間の地理的近接性を反映し、認識処理の応答性および応答精度を高めることが可能となる。
By installing the
エッジサーバ100とユーザ端末300とを接続する回線の通信速度が大きければ、応答時間の増加を抑制することができる。従って、このような場合には、エッジサーバ100が設置される地域と、このエッジサーバ100に接続されるユーザ端末300が存在する地域とは異なっていてもよい。
If the communication speed of the line connecting the
次に、本実施形態による認識処理の概要について説明する。図2は、本実施形態による認識処理の概要を説明するための図である。 Next, an overview of recognition processing according to the present embodiment will be described. FIG. 2 is a diagram for explaining an overview of recognition processing according to the present embodiment.
まず、下位のエッジサーバ100またはユーザ端末300は、認識処理の要求を上位のエッジサーバ100に送信する(ステップS1)。上位のエッジサーバ100は、受信した要求に基づき、自身が保持するローカル辞書150を用いた認識処理を実行する(ステップS2)。
First, the
認識処理のスコアが高くない場合、認識処理を実行したエッジサーバ100は、要求を上位のサーバ(他のエッジサーバ100、または、マスタサーバ200)に転送する(ステップS3)。上位のサーバは、要求に応じて認識処理を実行し、認識結果を要求元のエッジサーバ100に返す。上位のサーバがエッジサーバ100である場合、このエッジサーバ100は、さらに認識処理のスコアを判定し、要求の上位への転送処理を実行してもよい。
If the score of the recognition process is not high, the
エッジサーバ100は、上位のサーバからの認識結果を受け取る(ステップS4)。エッジサーバ100は、スコアが高いと判定した場合は、自装置内で実行した認識処理の結果を下位のエッジサーバ100またはユーザ端末300に返送する(ステップS5)。上位のサーバに要求を転送した場合、エッジサーバ100は、上位のサーバから返された認識結果を下位のエッジサーバ100またはユーザ端末300に返送する。
The
この後、任意のタイミングで、エッジサーバ100は、認識結果によるローカル辞書150の更新処理を実行する(ステップS6)。エッジサーバ100は、自装置内で認識処理が実行された場合は、この認識処理の認識結果を用い、上位のサーバで認識処理が実行された場合は、この認識処理の認識結果を用いて、ローカル辞書150を更新する。
Thereafter, the
このようにして、エッジサーバ100は、例えば自装置が設置される地域に特有の辞書を更新して保持できるようになる。
In this way, the
例えば各地域内のユーザ端末300から、撮像した看板の画像の認識処理が要求される例を考える。同じ地域のユーザ端末300からは、同じ看板の画像の認識処理が要求される可能性があるが、画像自体が同一になることはほとんどないと考えられる。本実施形態によれば、画像自体は異なるとしても、同一の対象を撮像した画像による認識結果を学習データとして辞書を更新できる。これにより、地域の特性を反映した辞書を構築することが可能となる。 For example, consider an example in which recognition processing of an image of a captured signboard is requested from the user terminal 300 in each region. The user terminal 300 in the same area may be required to recognize the same signboard image, but it is considered that the images themselves are rarely the same. According to the present embodiment, even if the images themselves are different, the dictionary can be updated using the recognition result of the images obtained by capturing the same object as the learning data. This makes it possible to build a dictionary that reflects regional characteristics.
他の例として、ある企業の従業員の顔認証(顔画像の認識)に適用する例を考える。この場合、ある地域に設置されるエッジサーバ100は、この地域内の拠点に勤務する従業員を認証するための辞書を保持すればよい。この辞書を用いて認証できない場合(スコアが小さい場合)、より広域の拠点に設置される他のエッジサーバ100、または、全従業員を認証するための辞書を保持するマスタサーバ200に、認証処理の要求が転送される。
As another example, consider an example of application to face authentication (face image recognition) of an employee of a company. In this case, the
他の例として、地域ごとに異なる音声認識辞書を用いた音声認識処理を実行する例を考える。ある地域に設置されるエッジサーバ100は、この地域に特有の言語(母国語、方言など)に応じた音声を認識するための辞書を保持し、更新していくことができる。
As another example, consider an example in which speech recognition processing using a speech recognition dictionary that is different for each region is executed. The
次に、本実施形態の各装置の機能構成例について説明する。図3は、エッジサーバ100、マスタサーバ200、および、ユーザ端末300の機能構成の一例を示すブロック図である。
Next, a functional configuration example of each device according to the present embodiment will be described. FIG. 3 is a block diagram illustrating an example of functional configurations of the
ユーザ端末300は、カメラ321と、表示部322と、制御部301と、送信部302と、受信部303と、を備えている。
The user terminal 300 includes a camera 321, a
カメラ321は、認識処理の対象となる画像を撮像する撮像装置である。例えばユーザ端末300のユーザは、カメラ321を用いて、顔認証に用いる画像を撮像する。音声認識を実行する場合、ユーザ端末300は、カメラ321の代わりに、または、カメラ321に加えて、音声を取得する音声入力装置(マイクなど)を備えてもよい。 The camera 321 is an imaging device that captures an image to be subjected to recognition processing. For example, the user of the user terminal 300 uses the camera 321 to capture an image used for face authentication. When performing voice recognition, the user terminal 300 may include a voice input device (such as a microphone) that acquires voice instead of the camera 321 or in addition to the camera 321.
表示部322は、各種処理で用いられる各種情報(例えば認識処理の結果)を表示する。表示部322は、例えば、液晶ディスプレイまたはタッチパネルなどにより実現できる。
The
送信部302は、エッジサーバ100などの外部装置に対して各種情報を送信する。例えば送信部302は、認識処理の要求をエッジサーバ100に送信する。認識処理の要求は、認識処理の対象となる画像(入力情報の一例)を含む。
The
受信部303は、外部装置から各種情報を受信する。例えば受信部303は、認識処理の要求を送信したエッジサーバ100から、認識処理の結果を受信する。
The receiving unit 303 receives various information from the external device. For example, the receiving unit 303 receives the recognition processing result from the
制御部301は、ユーザ端末300による各種処理の全体を制御する。例えば制御部301は、カメラ321による画像の撮像、撮像された画像を含む認識処理の要求の送信、および、認識結果の受信などを、各部に実行させる。
The
次にエッジサーバ100の機能構成例について説明する。エッジサーバ100は、記憶部121と、受信部101と、認識部102と、判定部103と、送信部104と、更新部105と、を備えている。
Next, a functional configuration example of the
記憶部121は、エッジサーバ100による各種処理で用いる各種情報を記憶する。例えば記憶部121は、認識処理に用いる辞書情報(図1のローカル辞書150など)を記憶する。
The
受信部101は、ユーザ端末300、他のエッジサーバ100、および、マスタサーバ200(接続されている場合)などの外部装置から各種情報を受信する。例えば受信部101は、認識処理の要求を下位装置(ユーザ端末300または他のエッジサーバ100)から受信する。上記のようにエッジサーバ100が同じ地域のユーザ端末300と対応付けられる場合は、受信部101は、対応する予め定められた地域内の1以上のユーザ端末300から要求を受信してもよい。
The receiving
認識部102は、要求に応じて認識処理を実行し、クラスと、このクラスに対するスコアとを出力する。スコアは、入力情報がクラスに属することの確からしさを示す度合いである。認識部102による認識処理のアルゴリズムは任意であるが、例えば最近傍決定法を適用することができる。
The
ローカル辞書150は、例えば適用するアルゴリズムに従って事前に学習データにより学習され、記憶部121に記憶される。エッジサーバ100が同じ地域のユーザ端末300と対応付けられる場合は、地域ごとにローカル辞書150を学習して記憶するように構成してもよい。認識部102は、ローカル辞書150と入力情報とを照合し、ローカル辞書150に含まれる各クラスに対するスコアを算出する。
The
例えば、最近傍決定法を用いる場合、認識部102は、学習用画像(学習データ)から抽出された特徴ベクトルおよびクラスラベルの対(xn,yn)(n=1〜N、Nは学習データの個数)をローカル辞書150として用いる。認識部102は、要求に含まれる画像(入力情報)から抽出された特徴ベクトルxを用いて、クラスcと特徴ベクトルxとの類似性を示すスコアscを以下の(1)式で決定する。
判定部103は、スコアを用いて、認識処理の要求を上位装置(他のエッジサーバ100またはマスタサーバ200)に転送するか否かを判定する。例えば判定部103は、スコアが予め定められた閾値(第1閾値)より小さい場合に要求を上位装置に転送すると判定する。閾値と比較するスコアは、例えば、全クラスに対して求められたスコアscのうち最大値である。
The
転送すると判定されなかった場合、すなわち、認識部102による認識結果のスコアが閾値以上である場合、送信部104は、認識部102により得られた認識結果を要求元(他のエッジサーバ100またはユーザ端末300)に送信する。認識結果は、例えばスコアの最大値を与えるクラスとする。
When it is not determined to transfer, that is, when the score of the recognition result by the
送信部104は、判定部103により転送すると判定された場合に、要求を上位装置に送信する。要求が上位装置に転送された場合は、受信部101は、転送先の上位装置から認識結果を受信する。上位装置から受信された認識結果が、自装置の認識結果として用いられる。
The transmission unit 104 transmits a request to the higher-level device when the
更新部105は、認識結果を用いてローカル辞書150を更新する。例えば更新部105は、入力情報と認識結果として求められたクラスとを学習データとして追加し、追加後の学習データを用いた再学習によりローカル辞書150を更新する。
The update unit 105 updates the
更新処理のタイミングは任意であるが、例えば以下のようなタイミングで実行してもよい。
・各認識処理の実行後
・所定の回数、認識処理が実行されたとき
・CPU使用率およびネットワーク使用率などの負荷が一定閾値を下回ったとき
・所定の時刻を経過したとき
The timing of the update process is arbitrary, but may be executed at the following timing, for example.
・ After each recognition process is executed ・ When the recognition process is executed a predetermined number of times ・ When the load such as CPU usage rate and network usage rate falls below a certain threshold ・ When a predetermined time has passed
更新部105は、認識結果が信頼できる場合に更新処理を実行するように構成してもよい。例えば更新部105は、認識結果の信頼度を算出し、信頼度が予め定められた閾値(第2閾値)より大きい場合に辞書情報を更新してもよい。更新部105は、例えば、前回の更新処理以降に求められた認識結果のうち、信頼度が十分高い認識結果をクラスラベルとして学習データに追加する。更新部105は、追加した学習データを用いてローカル辞書150を再学習する。
The update unit 105 may be configured to execute the update process when the recognition result is reliable. For example, the updating unit 105 may calculate the reliability of the recognition result and update the dictionary information when the reliability is greater than a predetermined threshold (second threshold). For example, the update unit 105 adds, as a class label, a recognition result having a sufficiently high reliability among the recognition results obtained after the previous update process to the learning data. The update unit 105 re-learns the
認識結果の信頼度は、例えば、例えば以下の(2)式または(3)式で示す判定関数により算出できる。s1〜sCは、認識対象となるC個のクラスに対するスコアscを上位から順に並べたものである。αcおよびβcは定数である。
信頼度は上記例に限られるものではない。例えば判定関数は、以下のように求められる値のうち少なくとも1つの線形結合により表されてもよい。
・複数のクラスに対して算出される複数のスコア
・上記スコアの値を定数倍した値
・上記スコアの値を定数倍して指数関数に与えることによって得られる値
・上記値のいずれかの線型和の対数をとった値
例えば、あるクラスに対するスコアがそのクラスに対する尤度または対数尤度と定数倍または定数差を除いて一致する場合、事後確率を信頼度として用いることができる。
The reliability is not limited to the above example. For example, the determination function may be represented by at least one linear combination among the values obtained as follows.
-Multiple scores calculated for multiple classes-A value obtained by multiplying the value of the score by a constant-A value obtained by multiplying the value of the score by a constant and giving it to the exponential function-Any linear form of the above values Logarithm of sum For example, when the score for a certain class matches the likelihood or logarithmic likelihood for that class except for a constant multiple or a constant difference, the posterior probability can be used as the reliability.
また、複数の判定関数のうち予め定められた閾値(第3閾値)を上回った判定関数の個数を信頼度とし、信頼度(判定関数の個数)が閾値(第2閾値)より大きい場合に、更新部105が更新処理を行ってもよい。 In addition, when the number of determination functions that exceed a predetermined threshold (third threshold) among a plurality of determination functions is defined as reliability, and the reliability (number of determination functions) is greater than the threshold (second threshold), The update unit 105 may perform update processing.
次にマスタサーバ200の機能構成例について説明する。マスタサーバ200は、記憶部221と、受信部201と、認識部202と、送信部204と、更新部205と、を備えている。
Next, a functional configuration example of the
マスタサーバ200は、少なくとも、判定部103を備えないこと、および、判定部103の判定結果に応じて要求を転送しないことがエッジサーバ100と異なっている。
The
記憶部221は、マスタサーバ200による各種処理で用いる各種情報を記憶する。例えば記憶部221は、認識処理に用いる辞書情報(図1の辞書250など)を記憶する。辞書250は、例えば適用するアルゴリズムに従って事前に学習データにより学習され、記憶部221に記憶される。
The
受信部201は、エッジサーバ100などの外部装置から各種情報を受信する。例えば受信部201は、認識処理の要求を下位のエッジサーバ100から受信する。
The receiving
認識部202は、要求に応じて認識処理を実行し、クラスと、このクラスに対するスコアとを出力する。認識部202による認識処理は、記憶部221に記憶される辞書250を用いる以外は、エッジサーバ100による認識処理と同様である。
The recognition unit 202 executes recognition processing in response to a request, and outputs a class and a score for this class. The recognition process by the recognition unit 202 is the same as the recognition process by the
送信部204は、認識部202により得られた認識結果を要求元であるエッジサーバ100に送信する。
The
更新部205は、認識結果を用いて辞書250を更新する。更新部205による更新処理は、エッジサーバ100の更新部105による更新処理と同様である。
The
なお、上記各部は、例えば、CPU(Central Processing Unit)などの処理装置にプログラムを実行させること、すなわち、ソフトウェアにより実現してもよいし、IC(Integrated Circuit)などのハードウェアにより実現してもよいし、ソフトウェアおよびハードウェアを併用して実現してもよい。 Each of the above units may be realized by causing a processing device such as a CPU (Central Processing Unit) to execute a program, that is, realized by software or hardware such as an IC (Integrated Circuit). It may be realized by using software and hardware together.
各記憶部(記憶部121、記憶部221)は、HDD(Hard Disk Drive)、光ディスク、メモリカード、RAM(Random Access Memory)などの一般的に利用されているあらゆる記憶媒体により構成することができる。
Each storage unit (
次に、このように構成された本実施形態にかかるエッジサーバ100による認識処理について図4を用いて説明する。図4は、本実施形態における認識処理の一例を示すフローチャートである。
Next, recognition processing by the
受信部101は、下位装置(ユーザ端末300、または、他のエッジサーバ100)からの認識処理の要求の受信を待機する(ステップS101)。受信部101は、認識処理の要求を受信したか否かを判定する(ステップS102)。要求を受信した場合(ステップS102:Yes)、認識部102は、要求に応じた認識処理を実行する(ステップS103)。
The receiving
判定部103は、認識処理により求められたスコアが閾値より小さいか否かを判定する(ステップS104)。スコアが閾値より小さい場合(ステップS104:Yes)、送信部104は、認識処理の要求を上位のサーバ(他のエッジサーバ100、または、マスタサーバ200)に転送する(ステップS105)。
The
要求を転送後、または、ステップS102で要求を受信していない場合(ステップS102:No)、受信部101は、上位のサーバから認識結果を受信したか否かを判定する(ステップS106)。
After transferring the request or when the request has not been received in step S102 (step S102: No), the receiving
認識結果を受信していない場合(ステップS106:No)、ステップS101に戻り処理が繰り返される。認識結果を受信した場合(ステップS106:Yes)、受信部101は、受信した認識結果を例えば記憶部121に記録する(ステップS107)。ステップS104でスコアが閾値以上であると判定された場合(ステップS104:No)、認識部102は、自身による認識処理の結果を例えば記憶部121に記録する。送信部104は、記録された認識結果を要求元に送信する(ステップS108)。
When the recognition result has not been received (step S106: No), the process returns to step S101 and is repeated. When the recognition result is received (step S106: Yes), the receiving
更新部105は、辞書の更新タイミングであるか否かを判定する(ステップS109)。更新タイミングでない場合(ステップS109:No)、ステップS101に戻り処理が繰り返される。更新タイミングである場合(ステップS109:Yes)、更新部105は、認識結果を学習データに追加して辞書の更新処理を実行する(ステップS110)。 The updating unit 105 determines whether it is the dictionary update timing (step S109). If it is not the update timing (step S109: No), the process returns to step S101 and is repeated. When it is an update timing (step S109: Yes), the update part 105 adds a recognition result to learning data, and performs the update process of a dictionary (step S110).
なお、マスタサーバ200の場合は、ステップS104〜ステップS106が実行されず、認識処理(ステップS103)の後にステップS107以降の処理が実行される。この場合、ステップS102:Noの後は、ステップS101に遷移すればよい。
In the case of the
(変形例)
上記実施形態では、認識処理に最近傍決定法を用いる例を説明した。認識処理はこれに限られるものではない。また、辞書の更新処理は、適用する認識処理のアルゴリズムに応じた任意の更新処理を適用できる。
(Modification)
In the above embodiment, an example in which the nearest neighbor determination method is used for the recognition process has been described. The recognition process is not limited to this. As the dictionary update process, an arbitrary update process according to the algorithm of the recognition process to be applied can be applied.
例えば、認識処理では、部分空間法、修正二次識別関数法、または、球面疑似ベイズ法を用いてもよい。この場合、更新処理では、学習部分空間法、または、平均学習部分空間法を用いてもよい。 For example, in the recognition process, a subspace method, a modified secondary discriminant function method, or a spherical pseudo Bayes method may be used. In this case, in the update process, a learning subspace method or an average learning subspace method may be used.
また、認識処理では、ニューラルネットワークを用いた認識処理を用いてもよい。この場合、更新処理では、誤差逆伝播法を用いてもよい。 In the recognition process, a recognition process using a neural network may be used. In this case, the error back propagation method may be used in the update process.
以上説明したとおり、本実施形態によれば、機器の負荷の分散、および、応答時間の短縮などが可能となる。 As described above, according to the present embodiment, it is possible to distribute the load on the device and shorten the response time.
次に、本実施形態にかかる各装置(ユーザ端末、エッジサーバ、マスタサーバ)のハードウェア構成について図5を用いて説明する。図5は、本実施形態にかかる装置のハードウェア構成例を示す説明図である。 Next, the hardware configuration of each device (user terminal, edge server, master server) according to the present embodiment will be described with reference to FIG. FIG. 5 is an explanatory diagram illustrating a hardware configuration example of the apparatus according to the present embodiment.
本実施形態にかかる装置は、CPU(Central Processing Unit)51などの制御装置と、ROM(Read Only Memory)52やRAM(Random Access Memory)53などの記憶装置と、ネットワークに接続して通信を行う通信I/F54と、各部を接続するバス61を備えている。
The apparatus according to the present embodiment communicates with a control device such as a CPU (Central Processing Unit) 51 and a storage device such as a ROM (Read Only Memory) 52 and a RAM (Random Access Memory) 53 by connecting to a network. A communication I /
本実施形態にかかる装置で実行されるプログラムは、ROM52等に予め組み込まれて提供される。
A program executed by the apparatus according to the present embodiment is provided by being incorporated in advance in the
本実施形態にかかる装置で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでCD−ROM(Compact Disk Read Only Memory)、フレキシブルディスク(FD)、CD−R(Compact Disk Recordable)、DVD(Digital Versatile Disk)等のコンピュータで読み取り可能な記録媒体に記録してコンピュータプログラムプロダクトとして提供されるように構成してもよい。 A program executed by the apparatus according to the present embodiment is a file in an installable format or an executable format, and is a CD-ROM (Compact Disk Read Only Memory), a flexible disk (FD), or a CD-R (Compact Disk Recordable). Alternatively, the program may be recorded on a computer-readable recording medium such as a DVD (Digital Versatile Disk) and provided as a computer program product.
さらに、本実施形態にかかる装置で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、本実施形態にかかる装置で実行されるプログラムをインターネット等のネットワーク経由で提供または配布するように構成してもよい。 Furthermore, the program executed by the apparatus according to the present embodiment may be provided by being stored on a computer connected to a network such as the Internet and downloaded via the network. The program executed by the apparatus according to the present embodiment may be provided or distributed via a network such as the Internet.
本実施形態にかかる装置で実行されるプログラムは、コンピュータを上述した装置の各部として機能させうる。このコンピュータは、CPU51がコンピュータ読取可能な記憶媒体からプログラムを主記憶装置上に読み出して実行することができる。
The program executed by the apparatus according to the present embodiment can cause a computer to function as each unit of the above-described apparatus. In this computer, the
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。 Although several embodiments of the present invention have been described, these embodiments are presented by way of example and are not intended to limit the scope of the invention. These novel embodiments can be implemented in various other forms, and various omissions, replacements, and changes can be made without departing from the scope of the invention. These embodiments and modifications thereof are included in the scope and gist of the invention, and are included in the invention described in the claims and the equivalents thereof.
100 エッジサーバ
101 受信部
102 認識部
103 判定部
104 送信部
105 更新部
121 記憶部
200 マスタサーバ
201 受信部
202 認識部
204 送信部
205 更新部
221 記憶部
300 ユーザ端末
301 制御部
302 送信部
303 受信部
321 カメラ
322 表示部
DESCRIPTION OF
Claims (11)
辞書情報を用いて前記認識処理を実行し、前記入力情報が属するクラスとの類似性を示すスコアとを出力する認識部と、
前記スコアに基づいて、上位装置に前記要求を転送するか否かを判定する判定部と、
転送すると判定された場合に、前記要求を前記上位装置に送信する送信部と、
前記入力情報と求められたクラスとに基づいて、前記辞書情報を更新する更新部と、
を備える認識装置。 A receiving unit for receiving a request for recognition processing for obtaining a class to which the input information belongs, from a lower-level device;
A recognition unit that performs the recognition process using dictionary information and outputs a score indicating similarity to the class to which the input information belongs;
A determination unit that determines whether or not to transfer the request to a higher-level device based on the score;
A transmission unit that transmits the request to the higher-level device when it is determined to transfer,
An update unit that updates the dictionary information based on the input information and the determined class;
A recognition device comprising:
請求項1に記載の認識装置。 The determination unit determines to transfer the request to the higher-level device when the score is smaller than a first threshold.
The recognition device according to claim 1.
前記認識部は、前記地域に応じて定められた前記辞書情報を用いて前記認識処理を実行する、
請求項1に記載の認識装置。 The receiving unit receives the request from one or more subordinate devices in a predetermined area,
The recognizing unit executes the recognition process using the dictionary information determined according to the region.
The recognition device according to claim 1.
請求項1に記載の認識装置。 The update unit calculates the reliability of the obtained class, and updates the dictionary information when the reliability is greater than a second threshold;
The recognition device according to claim 1.
請求項4に記載の認識装置。 The update unit calculates the reliability based on a plurality of scores calculated for a plurality of classes.
The recognition apparatus according to claim 4.
請求項4に記載の認識装置。 The update unit updates the dictionary information using learning data to which information that associates the input information with the obtained class is added.
The recognition apparatus according to claim 4.
前記更新部は、学習部分空間法、または、平均学習部分空間法により前記辞書情報を更新する、
請求項4に記載の認識装置。 The recognition unit performs the recognition process by a subspace method, a modified secondary discriminant function method, or a spherical pseudo Bayes method,
The update unit updates the dictionary information by a learning subspace method or an average learning subspace method.
The recognition apparatus according to claim 4.
前記更新部は、誤差逆伝播法により前記辞書情報を更新する、
請求項4に記載の認識装置。 The recognition unit performs a recognition process using a neural network,
The updating unit updates the dictionary information by an error back propagation method.
The recognition apparatus according to claim 4.
前記下位装置は、
入力情報が属するクラスを求める認識処理の要求を前記認識装置に送信する第1送信部を備え、
前記上位装置は、前記要求に応じて前記認識処理を実行する第1認識部を備え、
前記認識装置は、
前記要求を前記下位装置から受信する受信部と、
辞書情報を用いて前記認識処理を実行し、前記入力情報が属するクラスとスコアとを出力する第2認識部と、
前記スコアに基づいて、前記上位装置に前記要求を転送するか否かを判定する判定部と、
転送すると判定された場合に、前記要求を前記上位装置に送信する第2送信部と、
前記入力情報と求められたクラスとに基づいて、前記辞書情報を更新する更新部と、を備える、
認識システム。 A recognition system comprising a lower device, a recognition device, and a higher device,
The subordinate device is:
A first transmission unit that transmits a recognition processing request for obtaining a class to which the input information belongs to the recognition device;
The host device includes a first recognition unit that executes the recognition process in response to the request,
The recognition device is
A receiving unit that receives the request from the lower-level device;
Executing a recognition process using dictionary information, and outputting a class and score to which the input information belongs;
A determination unit that determines whether or not to transfer the request to the host device based on the score;
A second transmission unit that transmits the request to the higher-level device when it is determined to transfer,
An update unit that updates the dictionary information based on the input information and the determined class,
Recognition system.
辞書情報を用いて前記認識処理を実行し、前記入力情報が属するクラスとスコアとを出力する認識ステップと、
前記スコアに基づいて、上位装置に前記要求を転送するか否かを判定する判定ステップと、
転送すると判定された場合に、前記要求を前記上位装置に送信する送信ステップと、
前記入力情報と求められたクラスとに基づいて、前記辞書情報を更新する更新ステップと、
を含む認識方法。 A receiving step of receiving a request for recognition processing for obtaining a class to which the input information belongs, from a lower-level device;
A recognition step of performing the recognition process using dictionary information and outputting a class and score to which the input information belongs;
A determination step of determining whether to transfer the request to a higher-level device based on the score;
A transmission step of transmitting the request to the higher-level device when it is determined to transfer,
An updating step for updating the dictionary information based on the input information and the determined class;
A recognition method including:
入力情報が属するクラスを求める認識処理の要求を下位装置から受信する受信部と、
辞書情報を用いて前記認識処理を実行し、前記入力情報が属するクラスとスコアとを出力する認識部と、
前記スコアに基づいて、上位装置に前記要求を転送するか否かを判定する判定部と、
転送すると判定された場合に、前記要求を前記上位装置に送信する送信部と、
前記入力情報と求められたクラスとに基づいて、前記辞書情報を更新する更新部と、
として機能させるためのプログラム。 Computer
A receiving unit for receiving a request for recognition processing for obtaining a class to which the input information belongs, from a lower-level device;
A recognition unit that executes the recognition process using dictionary information and outputs a class and a score to which the input information belongs;
A determination unit that determines whether or not to transfer the request to a higher-level device based on the score;
A transmission unit that transmits the request to the higher-level device when it is determined to transfer,
An update unit that updates the dictionary information based on the input information and the determined class;
Program to function as.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016178601A JP2018045369A (en) | 2016-09-13 | 2016-09-13 | Recognition device, recognition system, recognition method, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016178601A JP2018045369A (en) | 2016-09-13 | 2016-09-13 | Recognition device, recognition system, recognition method, and program |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2018045369A true JP2018045369A (en) | 2018-03-22 |
Family
ID=61693158
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016178601A Pending JP2018045369A (en) | 2016-09-13 | 2016-09-13 | Recognition device, recognition system, recognition method, and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2018045369A (en) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020053953A1 (en) * | 2018-09-11 | 2020-03-19 | 株式会社日立国際電気 | Verification system and verification server |
KR20210095818A (en) * | 2020-07-17 | 2021-08-03 | 베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디. | Method and device for classifying face image, electronic device and storage medium |
JP2022037056A (en) * | 2019-03-04 | 2022-03-08 | パナソニックIpマネジメント株式会社 | Face authentication system and face authentication method |
WO2022064656A1 (en) * | 2020-09-25 | 2022-03-31 | 日本電信電話株式会社 | Processing system, processing method, and processing program |
WO2022113175A1 (en) * | 2020-11-24 | 2022-06-02 | 日本電信電話株式会社 | Processing method, processing system, and processing program |
WO2022201534A1 (en) * | 2021-03-26 | 2022-09-29 | 三菱電機株式会社 | Relearning system and relearning method |
JPWO2022260176A1 (en) * | 2021-06-11 | 2022-12-15 | ||
WO2023286218A1 (en) * | 2021-07-14 | 2023-01-19 | 日本電信電話株式会社 | Processing method and processing system |
-
2016
- 2016-09-13 JP JP2016178601A patent/JP2018045369A/en active Pending
Cited By (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3851971A4 (en) * | 2018-09-11 | 2022-05-04 | Hitachi Kokusai Electric Inc. | Verification system and verification server |
US20210192183A1 (en) * | 2018-09-11 | 2021-06-24 | Hitachi Kokusai Electric Inc. | Verification system and verification server |
US11967174B2 (en) * | 2018-09-11 | 2024-04-23 | Hitachi Kokusai Electric Inc. | Verification system and verification server |
JPWO2020053953A1 (en) * | 2018-09-11 | 2021-08-30 | 株式会社日立国際電気 | Matching system and matching server |
JP7132346B2 (en) | 2018-09-11 | 2022-09-06 | 株式会社日立国際電気 | Matching system and matching server |
WO2020053953A1 (en) * | 2018-09-11 | 2020-03-19 | 株式会社日立国際電気 | Verification system and verification server |
JP2022037056A (en) * | 2019-03-04 | 2022-03-08 | パナソニックIpマネジメント株式会社 | Face authentication system and face authentication method |
JP7266185B2 (en) | 2019-03-04 | 2023-04-28 | パナソニックIpマネジメント株式会社 | Face authentication system and face authentication method |
JP2021168195A (en) * | 2020-07-17 | 2021-10-21 | ベイジン バイドゥ ネットコム サイエンス アンド テクノロジー カンパニー リミテッド | Classification method and device for face image, electronic apparatus and storage medium |
KR102633433B1 (en) * | 2020-07-17 | 2024-02-05 | 베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디. | Method and device for classifying face image, electronic device and storage medium |
KR20210095818A (en) * | 2020-07-17 | 2021-08-03 | 베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디. | Method and device for classifying face image, electronic device and storage medium |
JPWO2022064656A1 (en) * | 2020-09-25 | 2022-03-31 | ||
WO2022064656A1 (en) * | 2020-09-25 | 2022-03-31 | 日本電信電話株式会社 | Processing system, processing method, and processing program |
JP7452679B2 (en) | 2020-09-25 | 2024-03-19 | 日本電信電話株式会社 | Processing system, processing method and processing program |
WO2022113175A1 (en) * | 2020-11-24 | 2022-06-02 | 日本電信電話株式会社 | Processing method, processing system, and processing program |
WO2022201534A1 (en) * | 2021-03-26 | 2022-09-29 | 三菱電機株式会社 | Relearning system and relearning method |
JPWO2022201534A1 (en) * | 2021-03-26 | 2022-09-29 | ||
JP7412632B2 (en) | 2021-03-26 | 2024-01-12 | 三菱電機株式会社 | Relearning system and relearning method |
JPWO2022260176A1 (en) * | 2021-06-11 | 2022-12-15 | ||
WO2022260176A1 (en) * | 2021-06-11 | 2022-12-15 | 株式会社 Preferred Networks | Information processing device, information processing system, and information processing method |
WO2023286218A1 (en) * | 2021-07-14 | 2023-01-19 | 日本電信電話株式会社 | Processing method and processing system |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2018045369A (en) | Recognition device, recognition system, recognition method, and program | |
US10284676B2 (en) | Systems and methods for caching augmented reality target data at user devices | |
US8242881B2 (en) | Method of adjusting reference information for biometric authentication and apparatus | |
US10692089B2 (en) | User classification using a deep forest network | |
US20220044120A1 (en) | Synthesizing a singular ensemble machine learning model from an ensemble of models | |
US11429863B2 (en) | Computer-readable recording medium having stored therein learning program, learning method, and learning apparatus | |
US10623782B1 (en) | Deep learning based caching system and method for self-driving car in multi-access edge computing | |
US20200259851A1 (en) | System for detecting and preventing malware execution in a target system | |
US20210065011A1 (en) | Training and application method apparatus system and stroage medium of neural network model | |
JP2019046236A (en) | Learning apparatus, information processing apparatus, learning method, and program | |
US20200394448A1 (en) | Methods for more effectively moderating one or more images and devices thereof | |
US11551121B2 (en) | Methods and systems for privacy preserving inference generation in a distributed computing environment | |
US20220027793A1 (en) | Dedicated artificial intelligence system | |
WO2022028147A1 (en) | Image classification model training method and apparatus, computer device, and storage medium | |
US11863398B2 (en) | Centralized management of distributed data sources | |
CN114581966A (en) | Method, electronic device and computer program product for information processing | |
US20200356841A1 (en) | Systems using hash keys to preserve privacy across multiple tasks | |
US20230409969A1 (en) | Providing Fairness in Fine-Tuning of Pre-Trained Language Models | |
CN110033013B (en) | Creating signatures for identifying particular machine learning models | |
JP7353825B2 (en) | Image processing device and method, image input device, image processing system, program | |
US10455365B1 (en) | System and method for optimized tracking and identification of user equipment | |
JP6990060B2 (en) | Data processing systems, data processing methods and programs | |
JP7573957B2 (en) | How to classify data on your device, devices, programs | |
JP2018045281A (en) | Information terminal, information processing method, program, and information processing system | |
US20230377004A1 (en) | Systems and methods for request validation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20170904 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20170905 |