JP2020010144A - Smart speaker, secure element, program, information processing method, and distribution method - Google Patents
Smart speaker, secure element, program, information processing method, and distribution method Download PDFInfo
- Publication number
- JP2020010144A JP2020010144A JP2018128565A JP2018128565A JP2020010144A JP 2020010144 A JP2020010144 A JP 2020010144A JP 2018128565 A JP2018128565 A JP 2018128565A JP 2018128565 A JP2018128565 A JP 2018128565A JP 2020010144 A JP2020010144 A JP 2020010144A
- Authority
- JP
- Japan
- Prior art keywords
- information
- unit
- speaker
- authentication
- user
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Abstract
Description
本発明は、スマートスピーカ、セキュアエレメント、プログラム、情報処理方法及び配信方法に関する。 The present invention relates to a smart speaker, a secure element, a program, an information processing method, and a distribution method.
通信機能と音声操作のアシスタント機能とを備えた、スマートスピーカと呼ばれる装置が普及しつつある。しかし、現在は利便性主導で普及が進んでおり、セキュリティ上の懸念が指摘されている。例えばスマートスピーカが正当なユーザではない第三者の発話を認識してＥＣサイトへの注文を確定し、商品が発送されてしまうという事例が報告されている。 A device called a smart speaker having a communication function and an assistant function for voice operation is becoming popular. However, it is currently being used and led by convenience, and security concerns have been pointed out. For example, a case has been reported in which a smart speaker recognizes an utterance of a third party who is not a legitimate user, determines an order to an EC site, and ships the product.
一方で、特許文献１では、ユーザが入力する音声に従ってアプリケーションを起動するスマートフォン等の電子機器であって、ユーザによるタップ等の所定動作を検知した場合にユーザの顔、虹彩等の生体情報を検出してユーザ認証を行い、認証に成功した場合に音声の入力を受け付けてアプリケーションを起動する電子機器等が開示されている。
On the other hand,
特許文献１に記載の技術をスマートスピーカに応用し、スマートスピーカにユーザの動作、生体情報等を検知させてユーザ認証を行わせることも考えられる。しかし、生体情報のような重要な情報をスマートスピーカ又はクラウド上に配置した場合、クラッキング等によるセキュリティ上のリスク、あるいはプライバシー漏洩のリスクがある。
It is also conceivable to apply the technology described in
一つの側面では、セキュリティ上及びプライバシー上のリスクを低減しつつ適切に動作することができるスマートスピーカ等を提供することを目的とする。 An object of one aspect is to provide a smart speaker or the like that can operate properly while reducing security and privacy risks.
一つの側面では、スマートスピーカは、音声の入力を受け付けるマイク、音声を出力するスピーカ、及び外部との通信を行う通信部を有するスピーカ本体と、該スピーカ本体からのアクセスが制限されたセキュア部とを備え、前記セキュア部は、ユーザの生体情報を記憶する記憶部と、前記マイクにおいて音声の入力を受け付けた場合に、該音声を入力したユーザの前記生体情報を前記スピーカ本体から取得する取得部と、前記生体情報に基づく認証を行う認証部とを備えることを特徴とする。 In one aspect, a smart speaker includes a microphone that accepts audio input, a speaker that outputs audio, and a speaker body that has a communication unit that communicates with the outside, and a secure unit that has limited access from the speaker body. Wherein the secure unit includes a storage unit that stores biometric information of a user, and an acquisition unit that, when an input of a voice is received by the microphone, obtains the biometric information of the user who has input the voice from the speaker body. And an authentication unit for performing authentication based on the biometric information.
一つの側面では、セキュリティ上及びプライバシー上のリスクを低減しつつ適切に動作することができる。 In one aspect, it can operate properly while reducing security and privacy risks.
以下、本発明をその実施の形態を示す図面に基づいて詳述する。
（実施の形態１）
図１は、スピーカシステムの構成例を示す模式図である。スマートスピーカ１を用いて所定のサービスをユーザに提供するスピーカシステムであって、スマートスピーカ１において音声入力時にユーザの認証を行うスピーカシステムについて説明する。スピーカシステムは、スマートスピーカ１、管理サーバ３、サービスサーバ４（４ａ、４ｂ…）を含む。各装置は、インターネット等のネットワークＮを介して相互に通信接続されている。
Hereinafter, the present invention will be described in detail with reference to the drawings showing the embodiments.
(Embodiment 1)
FIG. 1 is a schematic diagram illustrating a configuration example of a speaker system. A speaker system that provides a predetermined service to a user by using the
スマートスピーカ１は、音声の入出力機能のほかに外部との通信機能を備えたスピーカ装置であり、例えばＧｏｏｇｌｅ（登録商標）社のＧｏｏｇｌｅ Ｈｏｍｅ、Ａｍａｚｏｎ（登録商標）社のＡｍａｚｏｎ Ｅｃｈｏ（登録商標）のようにユーザとの対話を行うスピーカ装置である。スマートスピーカ１はユーザから音声の入力を受け付けて外部に送信し、所定の外部装置において音声認識、自然言語処理等が行われ、入力音声に対して返信された出力音声を再生する。
The
管理サーバ３は、本システムを管理する管理者の装置であり、後述する機密情報の暗号化をスマートスピーカ１が実行するための鍵情報を管理する管理装置である。鍵情報は、例えば公開鍵暗号方式の公開鍵、共通鍵暗号方式の共通鍵などである。詳しくは後述するように、スマートスピーカ１は管理サーバ３から配信された鍵情報を記憶し、当該鍵情報を用いて、外部に送信するデータを暗号化して出力する。
The management server 3 is a device of an administrator that manages the present system, and is a management device that manages key information for the
サービスサーバ４は、スマートスピーカ１における入力音声に基づき所定のサービスをユーザに提供するサービス事業者のサーバ装置である。以下の説明では複数のサービス事業者が存在するものとし、各サービス事業者のサービスサーバ４を符号４ａ、４ｂ、…で表す。サービス事業者が提供するサービスはＥＣサービス等が想定されるが、サービス内容は特に限定されない。サービスサーバ４はスマートスピーカ１から入力音声のデータを取得し、ユーザに提供するサービス内容に応じた情報処理（ＥＣサービスであれば商品の発注等に関する処理）を実行する。サービスサーバ４は、ユーザに提供するサービスに関する出力音声用のデータをスマートスピーカ１に返信し、音声を出力させる。
The
なお、Ｇｏｏｇｌｅ Ｈｏｍｅ等の既存のプラットフォームを利用する場合、実際にはスマートスピーカ１とサービスサーバ４との間に音声認識、自然言語処理等を行う外部サーバが位置してスマートスピーカ１の入出力音声を処理するが、本実施の形態では説明の簡潔のため外部サーバに関する記載を省略する。または、サービスサーバ４が直接的に音声認識、自然言語処理等を行い、入出力音声の解析、生成を行ってもよい。
When an existing platform such as Google Home is used, an external server that performs voice recognition, natural language processing, and the like is actually located between the
本実施の形態においてスマートスピーカ１は、ユーザに関連する機密情報であって、サービス事業者が提供するサービスを利用するために必要な機密情報を記憶しており、入力音声と共に機密情報をサービスサーバ４に送信してサービスを利用する。機密情報は、例えばクレジットカード番号、個人番号（マイナンバー）などであるが、機密にすべき情報であればよく、その内容は特に限定されない。例えばユーザがスマートスピーカ１を介してＥＣサービスを利用する場合、スマートスピーカ１は、商品購入に必要な購買情報（例えばクレジットカード番号）を機密情報としてサービスサーバ４に送信する。
In the present embodiment, the
本実施の形態でスマートスピーカ１は、悪意ある第三者による不正利用、特に機密情報の悪用、搾取等を防ぐため、ユーザによる音声入力時に生体情報の認証を行う。具体的には、スマートスピーカ１は入力音声からユーザの声紋に係る特徴量、すなわち声紋情報を抽出し、予め記憶してある声紋情報との照合を行ってユーザを認証する。
In the present embodiment, the
図２は、スマートスピーカ１の構成例を示すブロック図である。スマートスピーカ１は、制御部１１、主記憶部１２、通信部１３、マイク１４、スピーカ１５、補助記憶部１９、セキュアエレメント２０を備える。
制御部１１は、一又は複数のＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro-Processing Unit）等の演算処理装置を有し、補助記憶部１９に記憶されたプログラムＰを読み出して実行することにより、スマートスピーカ１に係る種々の情報処理、制御処理等を行う。主記憶部１２は、ＲＡＭ（Random Access Memory）等の一時記憶領域であり、制御部１１が演算処理を実行するために必要なデータを一時的に記憶する。通信部１３は、通信に関する処理を行うための処理回路等を含み、外部と情報の送受信を行う。なお、通信部１３が行う通信処理は有線通信であってもよく、無線通信であってもよい。マイク１４は、ユーザの指示を音声で入力するためのマイクである。スピーカ１５は、マイク１４に入力された音声によってユーザから指示された操作の結果を音声で出力するためのスピーカである。補助記憶部１９はＲＯＭ（Read-Only Memory）等の不揮発性記憶領域であり、制御部１１が処理を実行するために必要なプログラムＰ、その他のデータを記憶している。
FIG. 2 is a block diagram illustrating a configuration example of the
The
セキュアエレメント２０は、耐タンパ性を有するハードウェアモジュールであり、例えばＳＩＭ（Subscriber Identity Module）、ＵＩＭ（User Identity Module）、ＴＰＭ（Trusted Platform Module）等のＩＣカードやＩＣチップである。セキュアエレメント２０は、制御部１１、通信部１３、マイク１４、スピーカ１５等を含むスピーカ本体からのアクセスが制限されており、上述の機密情報のように、スマートスピーカ１が行う処理において重要なデータを格納してある。
The
本実施の形態でセキュアエレメント２０は、スピーカ本体に接続されたセキュリティチップとして構成されており、スピーカ本体から取外し可能に構成されている。セキュアエレメント２０をスピーカ本体から取外し可能とすることで、ユーザのプロファイルの移動を簡便かつ直感的に実施できるようになる。
In the present embodiment, the
なお、セキュアエレメント２０を取外し可能な構成とせず、例えばはんだ付け等により、スピーカ本体に取外し不可能に搭載されていてもよいことは勿論である。
It is needless to say that the
セキュアエレメント２０は、認証部２１、暗号化部２２、記憶部２３を備える。認証部２１は、ユーザの生体情報に基づく認証処理を行う。暗号化部２２は、セキュアエレメント２０から出力するデータの暗号化を行う。記憶部２３は、セキュアエレメント２０に搭載されたメモリ領域であり、声紋情報２３１、機密情報２３２、及び鍵情報２３３を記憶している。声紋情報２３１は、入力音声から抽出可能なユーザの生体情報であり、ユーザの声紋を示す音声特徴量である。機密情報２３２は、ユーザに関連する機密情報であって、サービスサーバ４が提供するサービスの利用に必要な機密情報を記憶している。
The
鍵情報２３３は、セキュアエレメント２０から出力するデータを暗号化するための鍵情報であって、例えば公開鍵暗号方式の公開鍵、共通鍵暗号方式の共通鍵などである。なお、例えば鍵情報２３３は電子署名用の暗号鍵であってもよく、暗号化のアルゴリズムは特に限定されない。暗号化部２２は、鍵情報２３３を用いて機密情報２３２を暗号化し、スピーカ本体に出力する。記憶部２３に記憶されている鍵情報２３３（例えば公開鍵）に対応する鍵情報（例えば秘密鍵）はサービスサーバ４が保持している。サービスサーバ４は自らが保持する鍵情報を用いて機密情報２３２を復号、検証し、ユーザにサービスを提供する。本実施の形態でスマートスピーカ１及びサービスサーバ４が使用する鍵情報は管理サーバ３が管理しており、各装置は管理サーバ３から取得した鍵情報を保持し、データの暗号化及び復号を行う。
The
なお、図２では図示の便宜上、単一の声紋情報２３１及び機密情報２３２が記憶されているものとして図示してあるが、本実施の形態では一台のスマートスピーカ１を複数のユーザが使用するものとし、ユーザ毎に個別の声紋情報２３１及び機密情報２３２が記憶されているものとする。例えば記憶部２３は、ユーザ名と対応付けて各ユーザの声紋情報２３１及び機密情報２３２を記憶する。セキュアエレメント２０は声紋情報２３１に基づいてユーザを識別し、識別したユーザに対応する機密情報２３２を出力する。
In FIG. 2, for convenience of illustration,
また、鍵情報２３３についても同様に、便宜的に単一の鍵情報２３３が記憶されているものとして図示してあるが、本実施の形態ではサービスサーバ４ａ、４ｂ、…毎に個別の鍵情報２３３が記憶されているものとする。セキュアエレメント２０は、ユーザが利用するサービスに応じて鍵情報２３３を選択し、選択した鍵情報２３３を用いて機密情報２３２を暗号化して出力する。
Similarly, the
図３は、実施の形態１の概要を説明するための説明図である。図３に基づき、本実施の形態の概要について説明する。
サービスサーバ４が提供するサービスを利用する場合、ユーザはスマートスピーカ１に対し、サービスの利用を要求するための所定の指示音声を入力する。例えばＥＣサービスを利用する場合、ユーザは購入を希望する商品の情報を発話する。スマートスピーカ１のマイク１４は、商品の購入を指示する指示音声の入力を受け付ける。
FIG. 3 is an explanatory diagram for explaining the outline of the first embodiment. An outline of the present embodiment will be described with reference to FIG.
When using the service provided by the
スマートスピーカ１は、マイク１４に入力された音声から、ユーザの声紋を示す特徴量、すなわち声紋情報を生体情報として抽出する。声紋情報は、例えばサウンドスペクトログラムに係る周波数パターンである。スマートスピーカ１は、抽出した声紋情報をセキュアエレメント２０に入力する。
The
セキュアエレメント２０の認証部２１は、スピーカ本体から取得した声紋情報に基づきユーザの認証を行う。すなわち認証部２１は、記憶部２３に事前に記憶してある声紋情報２３１を読み出し、スピーカ本体から取得した声紋情報と一致するか否か照合する。具体的には、認証部２１は記憶部２３に記憶されている複数のユーザそれぞれの声紋情報２３１との比較を行い、音声を入力したユーザを特定する。声紋情報が一致した場合、認証部２１は認証に成功したものと判定する。声紋情報が一致しないと判定した場合、認証部２１は認証に失敗したものと判定し、認証結果をスピーカ本体に出力して一連の処理を終了させる。
The
認証に成功した場合、認証部２１は暗号化部２２にその旨を通知する。通知を受けた場合、暗号化部２２はユーザの機密情報２３２を記憶部２３から読み出す。上述の如く、機密情報２３２はユーザに関連する機密にすべき情報であって、ユーザがサービスを利用する上で必要な情報である。例えばサービスサーバ４が提供するサービスがＥＣサービスである場合、クレジットカード番号のように、商品購入の際に必要な購買情報が記憶部２３に記憶されている。暗号化部２２は、記憶部２３に記憶されている複数のユーザそれぞれの機密情報２３２のうち、認証部２１が声紋情報２３１に基づき特定したユーザに対応する機密情報２３２を読み出す。
If the authentication is successful, the
また、暗号化部２２は鍵情報２３３を記憶部２３から読み出す。上述の如く、鍵情報２３３は公開鍵暗号方式の公開鍵、共通鍵暗号方式の共通鍵などであり、サービスサーバ４が保持する鍵情報に対応する鍵情報である。本実施の形態では各サービスサーバ４ａ、４ｂ、…が提供するサービス毎に個別の鍵情報２３３が用意されており、記憶部２３は、各サービスに対応する鍵情報２３３を記憶している。スマートスピーカ１（スピーカ本体）は入力音声からユーザが利用するサービスを特定し、暗号化部２２は、特定されたサービスに対応する鍵情報２３３を読み出す。
Further, the
なお、入力音声からサービスを特定する方法は特に限定されないが、例えば所謂ウェイクワードのような所定のコマンド音声をスマートスピーカ１が入力音声から認識してサービスを特定するようにしてもよい。あるいは、スマートスピーカ１から外部サーバへ音声のみを先に出力し、音声認識を行わせてサービスを特定させ、外部サーバから特定結果を取得するようにしてもよい。
The method of specifying the service from the input voice is not particularly limited. For example, the
暗号化部２２は、上述の如く、音声を入力したユーザに対応する機密情報２３２と、ユーザが利用するサービスに対応する鍵情報２３３とを読み出す。暗号化部２２は、読み出した機密情報２３２を鍵情報２３３に基づいて暗号化し、スピーカ本体へ出力する。
As described above, the
スピーカ本体の通信部１３は、セキュアエレメント２０から出力された機密情報２３２を、マイク１４に入力された音声のデータと共にサービスサーバ４へ送信する。例えばＥＣサービスを利用する場合、通信部１３は、商品の購入を指示する指示音声のデータと、商品購入に必要な購入情報とをサービスサーバ４に送信する。これにより、スマートスピーカ１はサービスサーバ４に対してサービスの提供を要求する。
The
サービスサーバ４は、スマートスピーカ１から入力音声及び機密情報２３２に係るデータを受信する。サービスサーバ４は、受信した機密情報２３２を、自らが保持する鍵情報で復号し、検証を行う。上述の如く、スマートスピーカ１が暗号化に用いる鍵情報２３３は、各サービスサーバ４が保持する鍵情報毎に個別となっている。従って、スマートスピーカ１が誤って意図しないサービスサーバ４に機密情報２３２を送信した場合であっても、サービスサーバ４は機密情報２３２を復号することができず、不正使用のリスクを低減することができる。
The
機密情報２３２の復号に成功した場合、サービスサーバ４は、入力音声に従いユーザにサービスを提供する。例えばＥＣサービスを提供する場合、サービスサーバ４は商品の発注、発送等に関連する処理を行う。サービスサーバ４は、提供されたサービスに関する出力音声用のデータをスマートスピーカ１に送信する。通信部１３は当該データを受信し、スピーカ１５へと受け渡す。スピーカ１５は、サービスサーバ４から送信された出力音声を再生（出力）する。
If the
以上より、スマートスピーカ１は耐タンパ性を有するセキュアエレメント２０を備え、ユーザの生体情報として声紋情報２３１をセキュアエレメント２０に記憶している。スマートスピーカ１は、音声入力によりユーザがサービスを利用する場合、セキュアエレメント２０に声紋情報を入力し、ユーザの認証を行わせる。スマートスピーカ１は、セキュアエレメント２０による認証結果に応じて機密情報２３２を出力し、ユーザにサービスを提供する。これにより、スマートスピーカ１の不正利用、特に機密情報２３２の不正利用を防ぐことができ、スピーカシステムの安全性を高めることができる。
As described above, the
図４は、スピーカシステムが実行する処理手順の一例を示すフローチャートである。図４に基づき、スピーカシステムが実行する処理内容について説明する。
スマートスピーカ１の制御部１１は、マイク１４を介して指示音声の入力を受け付ける（ステップＳ１１）。制御部１１は、入力された音声からユーザの声紋情報を抽出する（ステップＳ１２）。
FIG. 4 is a flowchart illustrating an example of a processing procedure executed by the speaker system. With reference to FIG. 4, the contents of processing performed by the speaker system will be described.
The
制御部１１は抽出した声紋情報をセキュアエレメント２０に入力し、セキュアエレメント２０は、記憶部２３に記憶してあるユーザの声紋情報２３１（生体情報）と照合する認証処理を行う（ステップＳ１３）。記憶部２３に複数のユーザの声紋情報２３１が記憶（登録）されている場合、セキュアエレメント２０は、入力音声から抽出された声紋情報を、記憶部２３に記憶されている各ユーザの声紋情報２３１と照合し、音声を入力したユーザを特定する。
The
ステップＳ１３の認証処理の結果、セキュアエレメント２０は、声紋が一致したか否かを判定する（ステップＳ１４）。声紋が一致しないと判定した場合（Ｓ１４：ＮＯ）、セキュアエレメント２０は一連の処理を終了する。
As a result of the authentication processing in step S13, the
声紋が一致したと判定した場合（Ｓ１４：ＹＥＳ）、セキュアエレメント２０は記憶部２３から機密情報２３２を読み出す（ステップＳ１５）。記憶部２３に複数のユーザの機密情報２３２が記憶されている場合、セキュアエレメント２０は、ステップＳ１３で認証（特定）したユーザに対応する機密情報２３２を読み出す。
If it is determined that the voiceprints match (S14: YES), the
セキュアエレメント２０は鍵情報２３３を記憶部２３から読み出す（ステップＳ１６）。例えば記憶部２３にはユーザが音声入力により利用するサービス毎に個別の鍵情報２３３が記憶されており、スピーカ本体の制御部１１が入力音声からサービスを特定した上で、セキュアエレメント２０は特定されたサービスに対応する鍵情報２３３を記憶部２３から読み出す。セキュアエレメント２０は、読み出した鍵情報２３３に基づき機密情報２３２を暗号化する（ステップＳ１７）。セキュアエレメント２０は暗号化した機密情報２３２をスピーカ本体に出力し、制御部１１は、出力された機密情報２３２と共に、ステップＳ１１で入力された音声のデータをサービスサーバ４に送信する（ステップＳ１８）。
The
サービスサーバ４は、機密情報２３２を含む入力音声のデータをスマートスピーカ１から受信する（ステップＳ１９）。サービスサーバ４は、自らが保持する鍵情報であって、スマートスピーカ１のセキュアエレメント２０に記憶されている鍵情報２３３に対応する鍵情報を用いて、スマートスピーカ１から受信した機密情報２３２を復号する（ステップＳ２０）。サービスサーバ４は、復号した機密情報２３２を用いて、ユーザの入力音声に従い提供するサービスに関する情報処理を実行する（ステップＳ２１）。例えばＥＣサービスを提供する場合、サービスサーバ４は商品購入に必要な購買情報（機密情報２３２）を用いて、商品代金の引き落とし、商品の発送等の関わる情報処理を実行する。サービスサーバ４は、提供されたサービスに関する出力音声のデータをスマートスピーカ１に返信する（ステップＳ２２）。
The
スマートスピーカ１の制御部１１は、サービスサーバ４から出力音声のデータを受信する（ステップＳ２３）。制御部１１は、受信した音声をスピーカ１５により出力し（ステップＳ２４）、一連の処理を終了する。
The
以上より、本実施の形態１によれば、スピーカ本体からのアクセスが制限されたセキュアエレメント２０に生体情報（声紋情報２３１）を格納し、音声入力時に音声を入力したユーザの生体認証を行う。これにより、セキュリティ上及びプライバシー上のリスクを低減しつつ、スマートスピーカ１を適切に動作させることができる。
As described above, according to the first embodiment, biometric information (voiceprint information 231) is stored in the
また、本実施の形態１によれば、生体情報の格納する領域を、耐タンパ性を有するセキュアエレメント２０とすることで、外部からの物理的攻撃にも頑健な構成とすることができ、セキュリティ上のリスクをより低減することができる。
Further, according to the first embodiment, the storage area of the biometric information is the
また、本実施の形態１によれば、セキュアエレメント２０をスピーカ本体から取外し可能な構成とすることで、ユーザのプロファイルの移動を簡便かつ直感的にできるようになる。
Further, according to the first embodiment, the configuration in which the
また、本実施の形態１によれば、セキュアエレメント２０に機密情報２３２を格納しておき、生体情報の認証結果に応じて機密情報２３２をスピーカ本体に出力する。これにより、機密情報２３２を安全に取り扱いながらも、ユーザはスマートスピーカ１を活用したサービスを享受することができる。
Further, according to the first embodiment, the
また、本実施の形態１によれば、複数のユーザそれぞれの生体情報及び機密情報２３２をセキュアエレメント２０に格納しておき、音声を入力したユーザを生体情報から特定して、特定したユーザの機密情報２３２をスピーカ本体に出力する。これにより、複数人がスマートスピーカ１を共有する場合であっても本システムを適切に運用することができる。
Further, according to the first embodiment, the biometric information and the
また、本実施の形態１によれば、セキュアエレメント２０は鍵情報２３３により機密情報２３２を暗号化した上で出力する。これにより、スマートスピーカ１及びサービスサーバ４の間で機密情報２３２を安全に送受信することができる。
According to the first embodiment, the
また、本実施の形態１によれば、鍵情報２３３はサービスサーバ４ａ、４ｂ、…が提供するサービス毎に個別化されており、ユーザが利用するサービスに応じた鍵情報２３３を用いて機密情報２３２を暗号化する。従って、意図しないサービスサーバ４に機密情報２３２が送信された場合であっても不正使用のリスクを低減することができる。
According to the first embodiment, the
（実施の形態２）
本実施の形態では声紋に加え、ユーザの指紋を生体情報として用いて認証を行う形態について述べる。なお、実施の形態１と重複する内容については同一の符号を付して説明を省略する。
図５は、実施の形態２の概要を説明するための説明図である。本実施の形態に係るスマートスピーカ１は、指紋センサ１６を備える。指紋センサ１６は、ユーザの指紋を読み取るためのタッチセンサである。なお、指紋センサ１６はスピーカ本体に設けられていてもよく、外付けのデバイスであってもよい。指紋センサ１６は、ユーザの指紋を読み取った画像データを制御部１１に与える。
(Embodiment 2)
In the present embodiment, a mode in which authentication is performed using a user's fingerprint as biometric information in addition to a voiceprint will be described. Note that the same components as those in the first embodiment are denoted by the same reference numerals, and description thereof is omitted.
FIG. 5 is an explanatory diagram for explaining the outline of the second embodiment. The
また、本実施の形態においてセキュアエレメント２０の記憶部２３は、指紋情報２３４を記憶している。指紋情報２３４は、ユーザの指紋の特徴量を示すデータであり、指紋センサ１６を用いてユーザが事前に登録したものである。なお、実施の形態１と同じく、記憶部２３はユーザ毎に指紋情報２３４を記憶している。
In the present embodiment, the
実施の形態１と同じく、スマートスピーカ１はマイク１４によりユーザから所定の指示音声の入力を受け付ける。この場合に、スマートスピーカ１は指紋センサ１６により、音声だけでなく指紋の入力を受け付ける。
As in the first embodiment, the
スマートスピーカ１は、指紋センサ１６により読み取った指紋の画像データからユーザの指紋の特徴量、すなわち指紋情報を抽出する。そしてスマートスピーカ１は、抽出した指紋情報と、指示音声から抽出した声紋情報とをセキュアエレメント２０に入力する。
The
セキュアエレメント２０の認証部２１は、実施の形態１と同じく声紋認証を行うと共に、本実施の形態では指紋認証を行う。すなわち認証部２１は、スピーカ本体から入力された指紋情報が、記憶部２３に記憶されている指紋情報２３４と一致するか否か照合する。例えば認証部２１は、先に声紋認証を行い、入力音声から抽出した声紋情報を記憶部２３に記憶されている各ユーザの声紋情報２３１と比較し、音声を入力したユーザを特定する。さらに認証部２１は、特定したユーザの指紋情報２３４を記憶部２３から読み出し、指紋センサ１６を介して取得した指紋情報と一致するか否か照合する。なお、先に指紋認証を行い、後に声紋認証を行ってもよいことは勿論である。
The
声紋又は指紋のいずれかの認証に失敗した場合、認証部２１は認証に失敗した旨の認証結果をスピーカ本体に出力し、処理を終了する。声紋及び指紋の双方の認証に成功した場合、認証部２１はその旨を暗号化部２２に通知する。その後の処理は実施の形態１と同様であり、セキュアエレメント２０は機密情報２３２の暗号化を行ってスピーカ本体に出力する。
When the authentication of either the voice print or the fingerprint fails, the
図６は、実施の形態２に係るスピーカシステムが実行する処理手順の一例を示すフローチャートである。
スマートスピーカ１の制御部１１は、マイク１４を介して音声の入力を受け付けると共に、指紋センサ１６を介して指紋の入力を受け付ける（ステップＳ２０１）。制御部１１は、入力された音声から声紋情報を抽出すると共に、入力された指紋の特徴量を示す指紋情報を抽出する（ステップＳ２０２）。制御部１１は、抽出した声紋情報及び指紋情報をセキュアエレメント２０に入力する。
FIG. 6 is a flowchart illustrating an example of a processing procedure executed by the speaker system according to the second embodiment.
The
セキュアエレメント２０は、スピーカ本体から入力された声紋情報及び指紋情報をそれぞれ、記憶部２３に記憶されているユーザの声紋情報２３１及び指紋情報２３４と照合する認証処理を行う（ステップＳ２０３）。ステップＳ２０３の認証処理の結果、セキュアエレメント２０は、声紋及び指紋が共に一致したか否かを判定する。声紋及び指紋が一致しないと判定した場合（Ｓ２０４：ＮＯ）、セキュアエレメント２０は一連の処理を終了する。声紋及び指紋が一致したと判定した場合（Ｓ２０４：ＹＥＳ）、セキュアエレメント２０は処理をステップＳ１５に移行する。
The
なお、上記では声紋以外の生体情報として指紋を一例に挙げたが、本実施の形態はこれに限定されるものではなく、例えば顔、虹彩等の情報を生体情報としてもよい。 In the above description, a fingerprint is taken as an example of biometric information other than a voiceprint. However, the present embodiment is not limited to this, and information such as a face and an iris may be used as biometric information.
以上より、本実施の形態２によれば、声紋情報２３１及び指紋情報２３４という複数の生体情報を用いてユーザの認証を行う。これにより、セキュリティをより高めることができる。
As described above, according to the second embodiment, user authentication is performed using a plurality of pieces of biometric information such as
（実施の形態３）
本実施の形態では、生体情報と異なるその他の認証情報をユーザに入力させ、認証を行う形態について説明する。
図７は、実施の形態３の概要を説明するための説明図である。本実施の形態に係るスマートスピーカ１は、入力部１７を備える。入力部１７は、ユーザがＰＩＮコードを入力するための入力インターフェイスであり、例えばメカニカルキー、タッチパネル等の入力パッドである。なお、入力部１７はスピーカ本体に設けられていてもよく、外付けのデバイスであってもよい。
(Embodiment 3)
In the present embodiment, an embodiment will be described in which a user inputs other authentication information different from biometric information to perform authentication.
FIG. 7 is an explanatory diagram for explaining the outline of the third embodiment. The
また、本実施の形態においてセキュアエレメント２０の記憶部２３は、生体情報以外の手段でユーザの認証を行うための認証情報として、ＰＩＮコード２３５を記憶している。ＰＩＮコード２３５は、ユーザが事前に登録した所定桁数の暗証番号であり、入力部１７等を用いてユーザが事前に登録したものである。なお、実施の形態１と同じく、記憶部２３はユーザ毎にＰＩＮコード２３５を記憶している。
Further, in the present embodiment, the
実施の形態１と同じく、スマートスピーカ１はマイク１４によりユーザから所定の指示音声の入力を受け付ける。この場合に、スマートスピーカ１は入力部１７により、音声だけでなくＰＩＮコードの入力を受け付ける。スマートスピーカ１は、指示音声から声紋情報を抽出してセキュアエレメント２０に入力すると共に、入力部１７を介して入力を受け付けたＰＩＮコードをセキュアエレメント２０に入力する。
As in the first embodiment, the
セキュアエレメント２０の認証部２１は、実施の形態１と同じく声紋認証を行うと共に、本実施の形態ではＰＩＮコードの認証を行う。すなわち認証部２１は、スピーカ本体から入力されたＰＩＮコードが、記憶部２３に記憶されているＰＩＮコード２３５と一致するか否か照合する。例えば認証部２１は、先に声紋認証を行い、入力音声から抽出した声紋情報を記憶部２３に記憶されている各ユーザの声紋情報２３１と比較して、音声を入力したユーザを特定する。さらに認証部２１は、特定したユーザのＰＩＮコード２３５を記憶部２３から読み出し、入力部１７を介して取得したＰＩＮコードと一致するか否か照合する。
The
声紋又はＰＩＮコードのいずれかの認証に失敗した場合、認証部２１は認証に失敗した旨の認証結果をスピーカ本体に出力し、処理を終了する。声紋及びＰＩＮコードの双方の認証に成功した場合、認証部２１はその旨を暗号化部２２に通知する。その後の処理は実施の形態１と同様であり、セキュアエレメント２０は機密情報２３２の暗号化を行ってスピーカ本体に出力する。
When the authentication of either the voice print or the PIN code fails, the
なお、上記では生体情報と異なる認証情報としてＰＩＮコードを用いたが、認証情報はＰＩＮコードに限定されるものではなく、例えば文字及び数字から成るパスワードなどであってもよい。認証情報は生体情報と組み合わせて利用可能なものであればよく、その内容は特に限定されない。 In the above description, the PIN code is used as the authentication information different from the biometric information. However, the authentication information is not limited to the PIN code, and may be, for example, a password including characters and numerals. The authentication information only needs to be usable in combination with the biometric information, and the content is not particularly limited.
図８は、実施の形態３に係るスピーカシステムが実行する処理手順の一例を示すフローチャートである。
マイク１４に入力された音声から声紋情報を抽出した後（ステップＳ１２）、スマートスピーカ１の制御部１１は以下の処理を実行する。制御部１１は、入力部１７を介して、生体情報と異なるＰＩＮコード（認証情報）の入力を受け付ける（ステップＳ３０１）。なお、ステップＳ３０１で入力される認証情報は、生体情報と異なる認証用の情報であればよく、ＰＩＮコードに限定されない。制御部１１は、ステップＳ１２に抽出した声紋情報と、ステップＳ３０１で受け付けたＰＩＮコードとをセキュアエレメント２０に入力する。セキュアエレメント２０は、スピーカ本体から取得した声紋情報を記憶部２３に記憶されている声紋情報２３１と照合する認証処理を行う（ステップＳ３０２）。
FIG. 8 is a flowchart illustrating an example of a processing procedure executed by the speaker system according to Embodiment 3.
After extracting voiceprint information from the voice input to the microphone 14 (step S12), the
ステップＳ３０２の認証処理の結果、セキュアエレメント２０は声紋が一致したか否かを判定する（ステップＳ３０３）。声紋が一致したと判定した場合（Ｓ３０３：ＹＥＳ）、制御部１１はさらにＰＩＮコードの認証を行い、スピーカ本体から取得したＰＩＮコードが、記憶部２３に記憶されているＰＩＮコード２３５と一致するか否かを判定する（ステップＳ３０４）。一致すると判定した場合（Ｓ３０４：ＹＥＳ）、セキュアエレメント２０は処理をステップＳ１５に移行する。
As a result of the authentication processing in step S302, the
声紋が一致しないと判定した場合（Ｓ３０３：ＮＯ）、又はＰＩＮコードが一致しないと判定した場合（Ｓ３０４：ＮＯ）、セキュアエレメント２０は一連の処理を終了する。
If it is determined that the voiceprints do not match (S303: NO) or if the PIN codes do not match (S304: NO), the
以上より、本実施の形態３によれば、ＰＩＮコード等の認証情報をユーザ本人に入力させることで、セキュリティをより高めることができる。 As described above, according to the third embodiment, security can be further improved by allowing the user to input authentication information such as a PIN code.
（実施の形態４）
本実施の形態では、生体情報に加えて、スマートスピーカ１の位置情報を認証に用いる形態について説明する。
図９は、実施の形態４の概要を説明するための説明図である。本実施の形態に係るスマートスピーカ１は、位置取得部１８を備える。位置取得部１８は、例えばＧＰＳ（Global Positioning System）情報を取得するＧＰＳアンテナであり、スマートスピーカ１の位置情報を取得する。
(Embodiment 4)
In the present embodiment, an embodiment will be described in which the position information of the
FIG. 9 is an explanatory diagram for describing an outline of the fourth embodiment. The
また、セキュアエレメント２０の記憶部２３は、正規位置情報２３６を記憶している。正規位置情報２３６は、スマートスピーカ１の正規配置座標を示す位置情報であり、スマートスピーカ１を通常使用する適正位置を示す情報である。セキュアエレメント２０には、正規位置情報２３６が予め登録（記憶）されている。
Further, the
スマートスピーカ１の位置取得部１８は、マイク１４において音声入力を受け付けた場合、スマートスピーカ１の現在位置を示す位置情報を取得する。スマートスピーカ１は、マイク１４に入力された音声から抽出した声紋情報と、位置取得部１８が取得した位置情報とをセキュアエレメント２０に入力する。
When the
セキュアエレメント２０の認証部２１は、声紋認証に先立ち、位置情報に基づく認証を行う。認証部２１は記憶部２３から正規位置情報２３６を読み出し、スピーカ本体から取得した位置情報と照合して、スマートスピーカ１の現在位置が通常使用する適正位置にあるか否かを判定する。例えば認証部２１は、スマートスピーカ１の現在の位置座標が、正規配置座標から所定の許容範囲内にあるか否かを判定する。許容範囲内にあると判定した場合、認証部２１は位置情報について認証に成功したものと判定し、声紋認証に処理を移行する。その後の処理は実施の形態１と同様であり、暗号化部２２が機密情報２３２の暗号化を行ってスピーカ本体に出力する。
The
図１０は、実施の形態４に係るスピーカシステムが実行する処理手順の一例を示すフローチャートである。
マイク１４に入力された音声から声紋情報を抽出した後（ステップＳ１２）、スマートスピーカ１の制御部１１は以下の処理を実行する。制御部１１は、スマートスピーカ１の位置情報を取得する（ステップＳ４０１）。制御部１１は、ステップＳ１２で抽出した声紋情報と、ステップＳ４０１で抽出した位置情報とをセキュアエレメント２０に入力する。
FIG. 10 is a flowchart illustrating an example of a processing procedure executed by the speaker system according to
After extracting voiceprint information from the voice input to the microphone 14 (step S12), the
セキュアエレメント２０はスマートスピーカ１の位置情報を記憶部２３に記憶している正規位置情報２３６と比較して、スマートスピーカ１が適正位置にあるか否かを判定する（ステップＳ４０２）。例えばセキュアエレメント２０は、スマートスピーカ１の現在の位置座標が、正規配置座標から所定の許容範囲内にあるか否かを判定する。適正位置にあると判定した場合（Ｓ４０２：ＹＥＳ）、セキュアエレメント２０は認証に成功したものと判定する。この場合、セキュアエレメント２０は声紋情報に基づく認証を行い（ステップＳ４０３）、ユーザの声紋と一致するか否かを判定する（ステップＳ４０４）。声紋が一致したと判定した場合（Ｓ４０４：ＹＥＳ）、制御部１１は処理をステップＳ１５に移行する。ステップＳ４０２又はＳ４０４でＮＯの場合、セキュアエレメント２０は認証に失敗したものと判定し、一連の処理を終了する。
The
以上より、本実施の形態４によれば、スマートスピーカ１が物理的に持ち去られた場合などに対応することができ、セキュリティを強固にすることができる。
As described above, according to the fourth embodiment, it is possible to cope with a case where the
（実施の形態５）
本実施の形態では、機密情報２３２を暗号化するための鍵情報２３３を更新する形態について説明する。
本実施の形態では、スマートスピーカ１及びサービスサーバ４が機密情報２３２を送受信する際に用いる鍵情報２３３を、クラウド経由で更新する。具体的には、鍵情報２３３を管理する管理サーバ３が各装置に鍵情報２３３を配信し、更新させる。
(Embodiment 5)
In the present embodiment, a mode in which
In the present embodiment, the
図１１は、実施の形態５の概要を説明するための説明図である。本実施の形態に係るスマートスピーカ１のセキュアエレメント２０は、秘匿通信処理部２４を備える。秘匿通信処理部２４は、管理サーバ３との間の秘匿通信に関する処理を行う。また、セキュアエレメント２０の記憶部２３は、秘匿通信を行うための秘匿通信用鍵２３７（第２の鍵情報）を記憶している。秘匿通信用鍵２３７は管理サーバ３との間の通信内容の暗号化及び復号を行うための暗号鍵であり、例えば共通鍵方式の共通鍵である。本実施の形態では、スマートスピーカ１はＴＬＳ（Transport Layer Security）に基づく暗号化通信を行って管理サーバ３との間の通信内容を秘匿化し、更新用の鍵情報２３３を安全に受信する。
FIG. 11 is an explanatory diagram for describing an outline of the fifth embodiment. The
以下、本実施の形態の概要について説明する。まず管理サーバ３が、スマートスピーカ１が保持する鍵情報２３３に対応する鍵情報であって、サービスサーバ４が機密情報２３２を復号する際に用いる鍵情報をサービスサーバ４に送信し、更新させる。上述の如く、鍵情報は各サービスサーバ４ａ、４ｂ、…毎に異なり、ユーザが利用するサービス毎に個別化されている。管理サーバ３は、各サービスサーバ４ａ、４ｂ、…に対応する鍵情報を、該当するサービスサーバ４に送信する。
Hereinafter, an outline of the present embodiment will be described. First, the management server 3 transmits key information corresponding to the
次に管理サーバ３は、スマートスピーカ１に鍵情報２３３を送信し、セキュアエレメント２０に格納してある鍵情報２３３を更新させる。この場合に管理サーバ３は、自身が保持する秘匿通信用鍵２３７を用いて秘匿通信路をスマートスピーカ１との間で確立し、鍵情報２３３を暗号化した上で送信する。
Next, the management server 3 transmits the
例えば管理サーバ３は、ＴＬＳに基づく秘匿通信を行う。管理サーバ３は、予め公開鍵暗号方式の公開鍵を含む電子証明書をスマートスピーカ１（セキュアエレメント２０）に発行し、当該公開鍵に基づく暗号化通信を行って共通鍵暗号方式の共通鍵を秘匿通信用鍵２３７としてスマートスピーカ１との間で共有する。ここでは説明の簡潔のため、すでに暗号化通信が行われて秘匿通信用鍵２３７が共有されているものとする。管理サーバ３は秘匿通信用鍵２３７を用いてスマートスピーカ１との間の通信を暗号化し、更新用の鍵情報２３３を安全に送信する。
For example, the management server 3 performs confidential communication based on TLS. The management server 3 issues an electronic certificate including the public key of the public key cryptosystem to the smart speaker 1 (secure element 20) in advance, performs encrypted communication based on the public key, and obtains the common key of the common key cryptosystem. The
なお、管理サーバ３はスマートスピーカ１との間で共有した秘匿通信用の鍵（第２の鍵情報）を用いて通信内容を暗号化することができればよく、そのアルゴリズムはＴＬＳに限定されない。
The management server 3 only needs to be able to encrypt communication contents using a secret communication key (second key information) shared with the
スマートスピーカ１は、通信部１３を介して、ユーザが利用するサービスに対応する鍵情報２３３を受信する。なお、セキュアエレメント２０がスピーカ本体から独立して通信手段を有する場合、スピーカ本体（通信部１３）ではなくセキュアエレメント２０が鍵情報２３３を直接受信するようにしてもよい。スマートスピーカ１は、受信した鍵情報２３３をセキュアエレメント２０に入力する。
The
セキュアエレメント２０の秘匿通信処理部２４は、スピーカ本体から入力された鍵情報２３３を、秘匿通信用鍵２３７を用いて復号する。秘匿通信処理部２４は、復号した鍵情報２３３を記憶部２３に格納し、鍵情報２３３を更新する。以上より、鍵情報２３３の遠隔管理が可能となると共に、鍵情報２３３の陳腐化によるセキュリティの低下を防止することができる。
The secure
図１２は、実施の形態５に係るスピーカシステムが実行する処理手順の一例を示すフローチャートである。
管理サーバ３は、サービスサーバ４ａ、４ｂ、…にそれぞれ、各サービスサーバ４が提供するサービス毎に異なる鍵情報を送信する（ステップＳ５０１）。さらに管理サーバ３は、スマートスピーカ１に送信する鍵情報２３３を、予めスマートスピーカ１と共有してある秘匿通信用鍵２３７で暗号化する（ステップＳ５０２）。秘匿通信用鍵２３７は、例えば共通鍵暗号方式の共通鍵であり、スマートスピーカ１毎に固有の暗号鍵である。管理サーバ３は、暗号化した鍵情報２３３をスマートスピーカ１に送信する（ステップＳ５０３）。
FIG. 12 is a flowchart illustrating an example of a processing procedure executed by the speaker system according to Embodiment 5.
The management server 3 transmits, to the
スマートスピーカ１の制御部１１は、通信部１３を介して鍵情報２３３を受信し、セキュアエレメント２０に入力する（ステップＳ５０４）。セキュアエレメント２０は、記憶部２３に記憶している秘匿通信用鍵２３７に基づき、鍵情報２３３を復号する（ステップＳ５０５）。セキュアエレメント２０は、復号した鍵情報２３３を記憶部２３に格納する（ステップＳ５０６）。セキュアエレメント２０は、一連の処理を終了する。
The
以上より、本実施の形態５によれば、鍵情報２３３の遠隔管理が可能となると共に、鍵情報２３３の陳腐化によるセキュリティの低下を防止することができる。
As described above, according to the fifth embodiment, it is possible to remotely manage the
（実施の形態６）
本実施の形態では、セキュアエレメント２０に格納されている各種情報をスマートスピーカ１のみのローカルで更新する形態について説明する。
ユーザが本システムを利用するに当たり、スマートスピーカ１に新たなユーザを登録する、クレジットカード番号を更新する等、セキュアエレメント２０内の生体情報、機密情報２３２等を更新するケースが発生し得る。一方で、これらのプライベートな情報をクラウド上（例えば管理サーバ３）で管理することはセキュリティ上、あるいはプライバシー上の懸念が存在する。そこで本実施の形態では、スマートスピーカ１単体で各種情報の更新を行う。
(Embodiment 6)
In the present embodiment, a form in which various information stored in the
When the user uses the present system, a case may occur in which biometric information,
図１３は、実施の形態６の概要を説明するための説明図である。本実施の形態に係るセキュアエレメント２０は、更新部２５を備える。更新部２５は、スピーカ本体から入力される声紋情報２３１、機密情報２３２、指紋情報２３４、ＰＩＮコード２３５、正規位置情報２３６といった各種情報を記憶部２３に格納し、更新する処理を行う。
FIG. 13 is an explanatory diagram for describing an outline of the sixth embodiment. The
まずスマートスピーカ１のマイク１４が、ユーザから声紋情報２３１等の更新を指示する所定の指示音声の入力を受け付ける。また、併せてスマートスピーカ１の指紋センサ１６がユーザの指紋を読み取る。スマートスピーカ１は、入力された音声から声紋情報を、指紋を読み取った画像から指紋情報（指紋の特徴量）をそれぞれ抽出する。
First, the
さらにスマートスピーカ１は、マイク１４、指紋センサ１６等により、ユーザが更新を所望する情報を更新用の情報として取得する。更新用の情報は、声紋情報、機密情報、指紋情報、ＰＩＮコード、及び位置情報の少なくともいずれかであるが、どの情報を更新するかは特に限定されない。また、更新する情報は既にセキュアエレメント２０に声紋情報２３１等が登録（記憶）されている既存ユーザのものであってもよく、新規ユーザのものであってもよい。例えば新規ユーザの登録を行う場合、既存ユーザが上述の如く指示音声を入力した後、続いて新規ユーザが音声を入力する。スマートスピーカ１は、新規ユーザの音声から声紋情報を更新用の情報として抽出する。
Further, the
スマートスピーカ１は、上記の声紋情報及び指紋情報と、更新用の情報とをセキュアエレメント２０に入力する。
The
セキュアエレメント２０の更新部２５は、スピーカ本体から入力された声紋情報及び指紋情報を記憶部２３に記憶されているユーザの声紋情報２３１及び指紋情報２３４と照合し、正当なユーザが更新を要求しているか否か、認証を行う。声紋及び指紋が一致した場合、更新部２５は認証に成功したものと判定する。
The
上記のように、更新部２５は声紋情報及び指紋情報、すなわち生体情報に基づく認証を行う。生体情報の認証に成功した場合、次に更新部２５はＰＩＮコードの検証を行う。更新部２５は、ＰＩＮコードの入力をスピーカ本体に要求する。セキュアエレメント２０から要求を受けた場合、例えばスマートスピーカ１は所定の案内音声をスピーカ１５により出力する等して、ＰＩＮコードを入力するようユーザに促す。
As described above, the updating
入力部１７は、ユーザからＰＩＮコードの入力を受け付け、セキュアエレメント２０に入力する。セキュアエレメント２０の更新部２５は、入力されたＰＩＮコードを記憶部２３に記憶しているＰＩＮコード２３５と照合し、両者が一致するか否か、認証を行う。ＰＩＮコードが一致したと判定した場合、更新部２５は認証に成功したと判定する。
The
生体情報及びＰＩＮコードの認証に成功した場合、更新部２５はスピーカ本体から取得した更新用の情報を記憶部２３に記憶（格納）し、各種情報を更新する。
When the authentication of the biometric information and the PIN code is successful, the
図１４は、実施の形態６に係るスピーカシステムが実行する処理手順の一例を示すフローチャートである。
セキュアエレメント２０の制御部１１は、指紋センサ１６を介して指紋の入力を受け付けると共に、マイク１４を介して、セキュアエレメント２０に格納してある情報の更新を要求する指示音声の入力を受け付ける（ステップＳ６０１）。制御部１１は、入力された音声からユーザの声紋情報を抽出する（ステップＳ６０２）。また、制御部１１は、ステップＳ６０１で入力された指紋（画像）から指紋情報（指紋に関する特徴量）を抽出する（ステップＳ６０３）。
FIG. 14 is a flowchart illustrating an example of a processing procedure performed by the speaker system according to Embodiment 6.
The
また、制御部１１は、更新用の情報を取得する（ステップＳ６０４）。更新用の情報は、声紋情報、機密情報、指紋情報、ＰＩＮコード、及び位置情報の少なくともいずれかであるが、どの情報であるかは特に限定されない。また、更新する情報は既にセキュアエレメント２０に声紋情報２３１等が登録（記憶）されている既存ユーザのものであってもよく、新規ユーザのものであってもよい。制御部１１は、ステップＳ６０１、Ｓ６０２で抽出した声紋情報及び指紋情報をセキュアエレメント２０に入力すると共に、更新用の情報を併せて入力する。
Further, the
セキュアエレメント２０は、スピーカ本体から入力された声紋情報及び指紋情報を、記憶部２３に記憶している声紋情報２３１及び指紋情報２３４とそれぞれ照合する認証処理を行う（ステップＳ６０５）。ステップＳ６０５の認証処理の結果、セキュアエレメント２０は、生体情報（声紋情報及び指紋情報）が一致したか否かを判定する（ステップＳ６０６）。生体情報が一致しないと判定した場合（Ｓ６０６：ＮＯ）、セキュアエレメント２０は認証に失敗したものとして情報の更新を行わず、一連の処理を終了する。
The
生体情報が一致したと判定した場合（Ｓ６０６：ＹＥＳ）、セキュアエレメント２０はＰＩＮコードの入力をスピーカ本体に要求し、スマートスピーカ１の制御部１１は、入力部１７を介してＰＩＮコードの入力を受け付ける（ステップＳ６０７）。制御部１１は、入力されたＰＩＮコードをセキュアエレメント２０に入力する。
When it is determined that the biometric information matches (S606: YES), the
セキュアエレメント２０は、スピーカ本体から入力されたＰＩＮコードが、記憶部２３に記憶しているＰＩＮコード２３５と一致したか否かを判定する（ステップＳ６０８）。ＰＩＮコードが一致しないと判定した場合（Ｓ６０８：ＮＯ）、セキュアエレメント２０は認証に失敗したものとして情報の更新を行わず、一連の処理を終了する。
The
ＰＩＮコードが一致したと判定した場合（Ｓ６０８：ＹＥＳ）、セキュアエレメント２０は、ステップＳ６０４で取得した更新用の情報を記憶部２３に記憶し、情報を更新する（ステップＳ６０９）。セキュアエレメント２０は、一連の処理を終了する。
If it is determined that the PIN codes match (S608: YES), the
以上より、本実施の形態６によれば、セキュアエレメント２０に格納されている各種情報をスマートスピーカ１単体で更新することができ、セキュリティ及びプライバシーの観点から適切に更新を行うことができる。
As described above, according to the sixth embodiment, various types of information stored in the
（実施の形態７）
実施の形態１では、耐タンパ性を有するセキュアエレメント２０に各種情報を格納して認証を行う形態について説明した。本実施の形態では、スマートスピーカ１内のソフトウェア上の実行環境を、スマートスピーカ１の一般的な処理を行う通常実行環境２０１（第１の実行環境）と、通常実行環境２０１よりもセキュアなトラステッド実行環境２０２（第２の実行環境）とに仮想的に分離し、トラステッド実行環境２０２において認証処理を行う形態について説明する。
(Embodiment 7)
In the first embodiment, an example has been described in which various types of information are stored in the tamper-resistant
図１５は、実施の形態７に係るスマートスピーカ１の構成例を示すブロック図である。本実施の形態に係るスマートスピーカ１は、例えばＴｒｕｓｔＺｏｎｅ（登録商標）と称される技術を用いることによって、ソフトウェア（ＯＳ、アプケーションなど）の実行環境を、通常実行環境（ＲＥＥ；Rich Execution Environment）２０１と、トラステッド実行環境２０２とに分離している。
FIG. 15 is a block diagram showing a configuration example of the
通常実行環境２０１は、スマートスピーカ１の基本ＯＳとして稼働する汎用ＯＳ２１１の実行環境であり、トラステッド実行環境２０２へのアクセスが制限される以外に、特段の機能制約がない実行環境である。汎用ＯＳ２１１は、通常実行環境２０１においてＯＳの機能を果たすソフトウェアであり、アプリケーション２１２からの要求に応じて、スマートスピーカ１が有するハードウェアの制御等を含む各種ＯＳ機能を提供する。制御部１１は、汎用ＯＳ２１１上でアプリケーション２１２を実行することで、音声の入出力、外部との通信を含む、スマートスピーカ１の基本的、汎用的な処理を実行する。
The
トラステッド実行環境２０２は、セキュリティ機能を隔離する目的で、同一のＳｏＣ（System on Chip）上で通常実行環境２０１とは別に提供される独立した実行環境である。トラステッド実行環境２０２は、通常実行環境２０１からのアクセスが制限されており、実行可能な機能も限定されている。なお、トラステッド実行環境は、ＴＥＥのような称呼に限定されるものではなく、通常実行環境２０１と分離され、セキュリティ上より安全な実行環境であれば、どのような称呼の実行環境であってもよい。スマートスピーカ１は、セキュリティ上保護すべきソフトウェア及びデータをトラステッド実行環境２０２に配置すると共に、通常実行環境２０１及びスマートスピーカ１の外部からのアクセスを制限することで、安全性を確保する。
The trusted
上述のように、通常実行環境２０１からトラステッド実行環境２０２にはアクセスできないように制限されており、通常実行環境２０１からはトラステッド実行環境２０２の存在を認識できない。通常実行環境２０１からトラステッド実行環境２０２で実行する処理を呼び出すためには、ソフトウェア上実現されるセキュアモニタ２０３を経由しなければならない。
As described above, the
トラステッドＯＳ２２１は、トラステッド実行環境２０２においてＯＳの機能を果たすソフトウェアであり、アプリケーション２２２からの要求に応じて、セキュリティ機能を中心としたＯＳ機能を提供する。制御部１１は、トラステッドＯＳ２２１上でアプリケーション２２２を実行することで、本実施の形態に係るユーザの認証処理を含む、セキュリティ上重要な処理を実行する。
The trusted
なお、本実施の形態では、スマートスピーカ１の各種機能がＯＳ、アプリケーションのいずれで実装されるかは本質的事項ではなく、実装者が適宜選択すべき設計事項であることから、ＯＳ、アプリケーションの機能分担については説明を省略する。
In the present embodiment, whether the various functions of the
図１１に示すように、本実施の形態においてスマートスピーカ１の制御部１１は、トラステッド実行環境２０２に声紋情報２３１、機密情報２３２、鍵情報２３３等を配置する。制御部１１は、通常実行環境２０１からトラステッド実行環境２０２に声紋情報等のデータを入力し、トラステッド実行環境２０２においてユーザの認証及び機密情報２３２の暗号化を行う。制御部１１は、トラステッド実行環境２０２から通常実行環境２０１に機密情報２３２を出力し、通信部１３を介してサービスサーバ４へ機密情報２３２を送信する。
As shown in FIG. 11, in the present embodiment, the
以上より、本実施の形態３によれば、スマートスピーカ１は、通常実行環境２０１と、通常実行環境２０１よりもセキュアなトラステッド実行環境２０２とを構築し、トラステッド実行環境２０２において認証処理を実行する。このように、セキュアエレメント２０を搭載せずとも、ソフトウェア上の構成によって安全性を確保することができる。
As described above, according to the third embodiment, the
上述の如く、スマートスピーカ１は、音声の入出力及び外部との通信を実行するコンポーネント（スピーカ本体）よりもセキュアなコンポーネント（セキュア部）を有し、当該セキュアなコンポーネントにおいて生体情報を含む各種情報を保持し、認証処理を実行可能であればよい。当該セキュアなコンポーネントは、ハードウェア上分離されたセキュアエレメント２０であってもよく、ソフトウェア上分離されたトラステッド実行環境２０２であってもよい。
As described above, the
セキュアエレメント２０に代えてトラステッド実行環境２０２を実装する以外は実施の形態１と共通するため、本実施の形態では詳細な図示及び説明を省略する。
Since this embodiment is the same as the first embodiment except that a trusted
（実施の形態８）
図１６は、上述した形態のスマートスピーカ１の動作を示す機能ブロック図である。制御部１１がプログラムＰを実行することにより、スマートスピーカ１は以下のように動作する。
スピーカ本体１６１は、音声の入力を受け付けるマイク１６１１、音声を出力するスピーカ１６１２、及び外部との通信を行う通信部１６１３を有する。セキュア部１６２は、該スピーカ本体１６１からのアクセスが制限され、ユーザの生体情報を記憶する記憶部１６２１と、前記マイクにおいて音声の入力を受け付けた場合に、該音声を入力したユーザの前記生体情報を前記スピーカ本体１６１から取得する取得部１６２２と、前記生体情報に基づく認証を行う認証部１６２３とを備える。
(Embodiment 8)
FIG. 16 is a functional block diagram showing the operation of the
The
本実施の形態８は以上の如きであり、その他は実施の形態１から７と同様であるので、対応する部分には同一の符号を付してその詳細な説明を省略する。 The eighth embodiment is as described above, and the other parts are the same as those in the first to seventh embodiments. Corresponding parts are denoted by the same reference numerals, and detailed description thereof will be omitted.
今回開示された実施の形態はすべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上記した意味ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。 The embodiment disclosed this time is an example in all respects and should be considered as not being restrictive. The scope of the present invention is defined by the terms of the claims, rather than the description above, and is intended to include any modifications within the scope and meaning equivalent to the terms of the claims.
１ スマートスピーカ
１１ 制御部
１２ 主記憶部
１３ 通信部
１４ マイク
１５ スピーカ
１６ 指紋センサ
１７ 入力部
１８ 位置取得部
１９ 補助記憶部
２０ セキュアエレメント
２１ 認証部
２２ 暗号化部
２３ 記憶部
２３１ 声紋情報
２３２ 機密情報
２３３ 鍵情報
２３４ 指紋情報
２３５ ＰＩＮコード
２３６ 正規位置情報
２３７ 秘匿通信用鍵
２４ 秘匿通信処理部
２５ 更新部
３ 管理サーバ
４ サービスサーバ
Claims (17)
該スピーカ本体からのアクセスが制限されたセキュア部と
を備え、
前記セキュア部は、
ユーザの生体情報を記憶する記憶部と、
前記マイクにおいて音声の入力を受け付けた場合に、該音声を入力したユーザの前記生体情報を前記スピーカ本体から取得する取得部と、
前記生体情報に基づく認証を行う認証部と
を備えることを特徴とするスマートスピーカ。 A microphone that receives audio input, a speaker that outputs audio, and a speaker body having a communication unit that communicates with the outside;
And a secure unit whose access from the speaker body is restricted,
The secure unit,
A storage unit for storing biometric information of the user,
An acquisition unit configured to acquire, from the speaker body, the biological information of the user who has input the audio when the input of the audio is received at the microphone;
An authentication unit for performing authentication based on the biological information.
ことを特徴とする請求項１に記載のスマートスピーカ。 The smart speaker according to claim 1, wherein the secure unit is a tamper-resistant secure element.
ことを特徴とする請求項２に記載のスマートスピーカ。 The smart speaker according to claim 2, wherein the secure element is configured to be detachable from the speaker main body.
前記セキュア部は、前記第１の実行環境から仮想的に分離された第２の実行環境である
ことを特徴とする請求項１に記載のスマートスピーカ。 The speaker main body is a first execution environment for executing a sound input / output process and a communication process with the outside,
The smart speaker according to claim 1, wherein the secure unit is a second execution environment virtually separated from the first execution environment.
前記取得部は、前記複数の生体情報を取得し、
前記認証部は、前記複数の生体情報に基づく認証を行う
ことを特徴とする請求項１〜４のいずれか１項に記載のスマートスピーカ。 The storage unit stores a plurality of the biological information in association with the user,
The acquisition unit acquires the plurality of biological information,
The smart speaker according to claim 1, wherein the authentication unit performs authentication based on the plurality of pieces of biometric information.
前記記憶部は、前記認証情報を記憶し、
前記取得部は、前記生体情報及び認証情報を取得し、
前記セキュア部は、前記認証情報に基づく認証を行う第２認証部を備える
ことを特徴とする請求項１〜５のいずれか１項に記載のスマートスピーカ。 The speaker body includes an input unit that receives an input of authentication information different from the biological information,
The storage unit stores the authentication information,
The acquisition unit acquires the biometric information and the authentication information,
The smart speaker according to any one of claims 1 to 5, wherein the secure unit includes a second authentication unit that performs authentication based on the authentication information.
前記セキュア部は、前記認証部による認証結果に応じて前記機密情報を前記スピーカ本体に出力する出力部を備える
ことを特徴とする請求項１〜６のいずれか１項に記載のスマートスピーカ。 The storage unit stores confidential information about the user,
The smart speaker according to any one of claims 1 to 6, wherein the secure unit includes an output unit that outputs the confidential information to the speaker body in accordance with an authentication result by the authentication unit.
前記認証部は、前記スピーカ本体から取得した前記生体情報に基づき前記ユーザを特定し、
前記出力部は、特定した前記ユーザに対応する前記機密情報を出力する
ことを特徴とする請求項７に記載のスマートスピーカ。 The storage unit stores the biological information and confidential information corresponding to each of the plurality of users,
The authentication unit specifies the user based on the biological information acquired from the speaker body,
The smart speaker according to claim 7, wherein the output unit outputs the confidential information corresponding to the specified user.
該鍵情報に基づき、前記機密情報を暗号化する暗号化部を備え、
前記出力部は、暗号化した前記機密情報を出力する
ことを特徴とする請求項７又は８に記載のスマートスピーカ。 The storage unit stores key information for encrypting the confidential information,
An encryption unit that encrypts the confidential information based on the key information,
The smart speaker according to claim 7, wherein the output unit outputs the encrypted confidential information.
前記スピーカ本体は、前記マイクに入力された音声に基づき、前記ユーザが利用する前記サービスを特定する特定部を備え、
前記暗号化部は、特定された前記サービスに対応する前記鍵情報に基づき暗号化を行う
ことを特徴とする請求項９に記載のスマートスピーカ。 The storage unit stores the individual key information for each of a plurality of services used by the user by inputting a voice to the microphone,
The speaker body includes a specification unit that specifies the service used by the user based on a voice input to the microphone,
The smart speaker according to claim 9, wherein the encryption unit performs encryption based on the key information corresponding to the specified service.
前記セキュア部は、
前記第２の鍵情報に基づき暗号化された前記鍵情報を、通信網を介して前記配布元から取得する第２取得部と、
前記第２の鍵情報に基づき、前記鍵情報を復号する復号部と、
復号した前記鍵情報を前記記憶部に格納する格納部と
を備えることを特徴とする請求項９又は１０に記載のスマートスピーカ。 The storage unit stores second key information shared with a distribution source of the key information,
The secure unit,
A second acquisition unit that acquires the key information encrypted based on the second key information from the distribution source via a communication network;
A decryption unit that decrypts the key information based on the second key information;
The storage device according to claim 9, further comprising: a storage unit configured to store the decrypted key information in the storage unit.
前記記憶部は、前記スマートスピーカの正規位置情報を記憶し、
前記セキュア部は、前記位置取得部が取得した前記位置情報と、前記正規位置情報とに基づく認証を行う位置認証部を備える
ことを特徴とする請求項１〜１１のいずれか１項に記載のスマートスピーカ。 The speaker body includes a position acquisition unit that acquires position information of the smart speaker,
The storage unit stores regular position information of the smart speaker,
The said secure part is provided with the position authentication part which performs the authentication based on the said position information which the said position acquisition part acquired and the said regular position information. The Claim 1 characterized by the above-mentioned. Smart speaker.
前記セキュア部は、前記認証部による認証結果に応じて、前記記憶部が記憶している情報を更新する更新部を備える
ことを特徴とする請求項１〜１１のいずれか１項に記載のスマートスピーカ。 The acquisition unit acquires update information from the speaker body,
The smart device according to any one of claims 1 to 11, wherein the secure unit includes an update unit that updates information stored in the storage unit according to an authentication result by the authentication unit. Speaker.
ユーザの生体情報を記憶する記憶部と、
前記マイクにおいて音声の入力を受け付けた場合に、該音声を入力したユーザの前記生体情報を前記スピーカ本体から取得する取得部と、
前記生体情報に基づく認証を行う認証部と
を備えることを特徴とするセキュアエレメント。 A microphone that receives input of voice, a speaker that outputs voice, and a secure element in which access from a speaker body of a smart speaker having a communication unit that performs communication with the outside is restricted,
A storage unit for storing biometric information of the user,
An acquisition unit configured to acquire, from the speaker body, the biological information of the user who has input the audio when the input of the audio is received at the microphone;
An authentication unit for performing authentication based on the biometric information.
音声の入出力処理、及び外部との通信処理を第１の実行環境において実行し、
該第１の実行環境から仮想的に分離された第２の実行環境において、
ユーザの生体情報を保持し、
前記マイクにおいて音声の入力を受け付けた場合に、該音声を入力したユーザの前記生体情報を前記第１の実行環境から取得し、
前記生体情報に基づく認証を行う
処理を実行させることを特徴とするプログラム。 A microphone that receives voice input, a speaker that outputs voice, and a smart speaker with a communication unit that communicates with the outside,
Executing a voice input / output process and an external communication process in a first execution environment;
In a second execution environment virtually separated from the first execution environment,
Holding the user's biological information,
When receiving an input of a voice in the microphone, the biological information of the user who has input the voice is acquired from the first execution environment,
A program for executing processing for performing authentication based on the biological information.
取得した前記購買情報を、前記鍵情報に対応する鍵情報に基づき復号し、
復号した前記購買情報に基づき、前記商品の購入に関する情報処理を行う
処理をコンピュータに実行させることを特徴とする情報処理方法。 From the smart speaker storing the biometric information of the user, the purchase information required when the user purchases the product, and the key information in the secure section where the access from the speaker body is restricted, according to the authentication result of the biometric information The purchase information output by the secure unit, to obtain the purchase information encrypted based on the key information,
The acquired purchase information is decrypted based on key information corresponding to the key information,
An information processing method, comprising: causing a computer to execute a process of performing information processing on purchase of the product based on the decrypted purchase information.
前記サービス事業者宛に送信した前記鍵情報に対応する鍵情報を、前記スマートスピーカと共有する第２の鍵情報に基づき暗号化し、
暗号化した前記鍵情報を前記スマートスピーカに送信する
処理をコンピュータに実行させることを特徴とする配信方法。 To a service provider providing a service to a user via a smart speaker, transmitting individual key information for each of the services,
Key information corresponding to the key information transmitted to the service provider is encrypted based on second key information shared with the smart speaker,
A distribution method comprising: causing a computer to execute a process of transmitting the encrypted key information to the smart speaker.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018128565A JP7119660B2 (en) | 2018-07-05 | 2018-07-05 | Smart speakers, secure elements and programs |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018128565A JP7119660B2 (en) | 2018-07-05 | 2018-07-05 | Smart speakers, secure elements and programs |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2020010144A true JP2020010144A (en) | 2020-01-16 |
| JP7119660B2 JP7119660B2 (en) | 2022-08-17 |
Family
ID=69152522
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018128565A Active JP7119660B2 (en) | 2018-07-05 | 2018-07-05 | Smart speakers, secure elements and programs |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7119660B2 (en) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2005106620A1 (en) * | 2004-04-30 | 2005-11-10 | Fujitsu Limited | Information management device and information management method |
| JP2006155547A (en) * | 2004-10-28 | 2006-06-15 | Ntt Communications Kk | Individual authentication system, terminal device and server |
| JP2014119897A (en) * | 2012-12-14 | 2014-06-30 | Fujitsu Ltd | Information processing device, lock execution method, and lock execution program |
| JP2014211677A (en) * | 2013-04-17 | 2014-11-13 | エヌ・ティ・ティ・コミュニケーションズ株式会社 | Authentication method, terminal, and program |
| JP2015507267A (en) * | 2011-12-31 | 2015-03-05 | インテル・コーポレーション | Method, device and system for managing user authentication |
| JP2017060103A (en) * | 2015-09-18 | 2017-03-23 | ヤフー株式会社 | Selection device, selection method, selection program and authentication processing system |
| CN108154021A (en) * | 2018-01-29 | 2018-06-12 | 百度在线网络技术（北京）有限公司 | Electronic equipment and its control method, device and storage medium |
-
2018
- 2018-07-05 JP JP2018128565A patent/JP7119660B2/en active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2005106620A1 (en) * | 2004-04-30 | 2005-11-10 | Fujitsu Limited | Information management device and information management method |
| JP2006155547A (en) * | 2004-10-28 | 2006-06-15 | Ntt Communications Kk | Individual authentication system, terminal device and server |
| JP2015507267A (en) * | 2011-12-31 | 2015-03-05 | インテル・コーポレーション | Method, device and system for managing user authentication |
| JP2014119897A (en) * | 2012-12-14 | 2014-06-30 | Fujitsu Ltd | Information processing device, lock execution method, and lock execution program |
| JP2014211677A (en) * | 2013-04-17 | 2014-11-13 | エヌ・ティ・ティ・コミュニケーションズ株式会社 | Authentication method, terminal, and program |
| JP2017060103A (en) * | 2015-09-18 | 2017-03-23 | ヤフー株式会社 | Selection device, selection method, selection program and authentication processing system |
| CN108154021A (en) * | 2018-01-29 | 2018-06-12 | 百度在线网络技术（北京）有限公司 | Electronic equipment and its control method, device and storage medium |
Also Published As
| Publication number | Publication date |
|---|---|
| JP7119660B2 (en) | 2022-08-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| TWI667585B (en) | Method and device for safety authentication based on biological characteristics | |
| US9741033B2 (en) | System and method for point of sale payment data credentials management using out-of-band authentication | |
| KR101883156B1 (en) | System and method for authentication, user terminal, authentication server and service server for executing the same | |
| TWI274500B (en) | User authentication system | |
| CN108809659B (en) | Dynamic password generation method, dynamic password verification method, dynamic password system and dynamic password verification system | |
| US8739266B2 (en) | Universal authentication token | |
| US10523441B2 (en) | Authentication of access request of a device and protecting confidential information | |
| US8433914B1 (en) | Multi-channel transaction signing | |
| US10848304B2 (en) | Public-private key pair protected password manager | |
| US9621344B2 (en) | Method and system for recovering a security credential | |
| JPWO2007094165A1 (en) | Identification system and program, and identification method | |
| US9124571B1 (en) | Network authentication method for secure user identity verification | |
| EP3662430B1 (en) | System and method for authenticating a transaction | |
| KR101210260B1 (en) | OTP certification device | |
| US8397281B2 (en) | Service assisted secret provisioning | |
| KR101570773B1 (en) | Cloud authentication method for securing mobile service | |
| KR101537564B1 (en) | Biometrics used relay authorization system and its method | |
| KR102053993B1 (en) | Method for Authenticating by using Certificate | |
| JP7119660B2 (en) | Smart speakers, secure elements and programs | |
| JP7212169B2 (en) | SIMPLE AUTHENTICATION METHOD AND SYSTEM USING BROWSER WEB STORAGE | |
| KR102117871B1 (en) | A method and system for simple authentication through distributed storage of public key and private key elements | |
| KR20160008012A (en) | User authentification method in mobile terminal | |
| TWI696963B (en) | Ticket issuing and admission verification system and method, and user terminal device used in ticket issuing and admission verification system | |
| KR101645414B1 (en) | Client terminal and method to connect with mobile service server | |
| US20220052838A1 (en) | Reinitialization of an application secret by way of the terminal |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210525 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220221 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220301 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220426 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220705 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220718 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7119660 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |