JP2020195131A - 車両コンピュータシステムおよびマイクロフォンコントローラ - Google Patents

車両コンピュータシステムおよびマイクロフォンコントローラ Download PDF

Info

Publication number
JP2020195131A
JP2020195131A JP2020089081A JP2020089081A JP2020195131A JP 2020195131 A JP2020195131 A JP 2020195131A JP 2020089081 A JP2020089081 A JP 2020089081A JP 2020089081 A JP2020089081 A JP 2020089081A JP 2020195131 A JP2020195131 A JP 2020195131A
Authority
JP
Japan
Prior art keywords
keys
voice
controller
computer system
voice input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020089081A
Other languages
English (en)
Other versions
JP7245195B2 (ja
Inventor
アミア キャシャニー
Kashani Ameer
アミア キャシャニー
ゴパラクリシュナン アイアー
Iyer Gopalakrishnan
ゴパラクリシュナン アイアー
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Denso International America Inc
Original Assignee
Denso Corp
Denso International America Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp, Denso International America Inc filed Critical Denso Corp
Publication of JP2020195131A publication Critical patent/JP2020195131A/ja
Application granted granted Critical
Publication of JP7245195B2 publication Critical patent/JP7245195B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/08Key distribution or management, e.g. generation, sharing or updating, of cryptographic keys or passwords
    • H04L9/0894Escrow, recovery or storing of secret information, e.g. secret key escrow or cryptographic key storage
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60Protecting data
    • G06F21/602Providing cryptographic facilities or services
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60Protecting data
    • G06F21/606Protecting data by securing the transmission between two devices or processes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60Protecting data
    • G06F21/62Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6245Protecting personal data, e.g. for financial or medical purposes
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/08Speech classification or search
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/04Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks
    • H04L63/0428Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks wherein the data content is protected, e.g. by encrypting or encapsulating the payload
    • H04L63/0442Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks wherein the data content is protected, e.g. by encrypting or encapsulating the payload wherein the sending and receiving network entities apply asymmetric encryption, i.e. different keys for encryption and decryption
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/08Key distribution or management, e.g. generation, sharing or updating, of cryptographic keys or passwords
    • H04L9/0816Key establishment, i.e. cryptographic processes or cryptographic protocols whereby a shared secret becomes available to two or more parties, for subsequent use
    • H04L9/0819Key transport or distribution, i.e. key establishment techniques where one party creates or otherwise obtains a secret value, and securely transfers it to the other(s)
    • H04L9/0825Key transport or distribution, i.e. key establishment techniques where one party creates or otherwise obtains a secret value, and securely transfers it to the other(s) using asymmetric-key encryption or public key infrastructure [PKI], e.g. key signature or public key certificates
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/08Key distribution or management, e.g. generation, sharing or updating, of cryptographic keys or passwords
    • H04L9/0861Generation of secret information including derivation or calculation of cryptographic keys or passwords
    • H04L9/0869Generation of secret information including derivation or calculation of cryptographic keys or passwords involving random numbers or seeds
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/14Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols using a plurality of keys or algorithms
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/32Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials
    • H04L9/3226Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials using a predetermined code, e.g. password, passphrase or PIN
    • H04L9/3231Biological data, e.g. fingerprint, voice or retina
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00Circuits for transducers, loudspeakers or microphones
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/08Speech classification or search
    • G10L2015/088Word spotting
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223Execution procedure of a spoken command
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L2209/00Additional information or applications relating to cryptographic mechanisms or cryptographic arrangements for secret or secure communication H04L9/00
    • H04L2209/84Vehicles
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30Services specially adapted for particular environments, situations or purposes
    • H04W4/40Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioethics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Biomedical Technology (AREA)
  • Navigation (AREA)
  • Telephone Function (AREA)

Abstract

【課題】車両乗員の音声データのプライバシーを強化するために音声データを暗号化および復号することができる音声認識機能を備えたシステムを提供する。【解決手段】音声認識機能を備えたシステム8において、マイクロフォンコントローラは、マイクロフォンコントローラによって開始される音声認識セッションで利用される1つ以上のマイクロフォンから音声入力を受信するようにプログラムされたプロセッサを含む。さらに、マイクロフォンコントローラは、受信した音声入力を暗号化された音声データに暗号化するように構成された1つ以上の鍵を含む鍵ストアを含む。【選択図】図1

Description

本開示は、車両乗員の音声データのプライバシーを強化するための車両コンピュータシステムおよびそれに用いられるマイクロフォンコントローラに関する。
車両には、音声データを収集するための1つ以上のマイクロフォンが装備されている場合がある。
捕捉された音声データは、テレマティクスモジュールを使用した通話、ペアの携帯電話を利用した通話、ナビゲーションシステムの音声コマンド、仮想アシスタントの音声コマンドなど、多くのアプリケーションで利用することができる。使用者は、そのようなデータのプライバシーについて心配するかもしれない。
一実施形態によれば、車両コンピュータシステムは、音声入力を受け入れるように構成される1つ以上のマイクロフォンと、音声入力を受信し、開始される音声認識セッションで音声入力を利用するように構成されるマイクロフォンコントローラと、マイクロフォンコントローラは、受信した入力を暗号化された音声データへ暗号化するように構成される1つ以上の鍵を含む鍵ストアをさらに含み、鍵ストア内の1つ以上の鍵に関連付けられた1つ以上の復号鍵をそれぞれ含む1つ以上のアプリケーションコントローラと、を含み、アプリケーションコントローラは、さらに、復号鍵を用いて音声データを復号し、復号された音声データを利用するように構成される。
第2の実施形態によれば、車両コンピュータシステムは、音声入力を受信し、音声認識セッションで音声入力を利用するように構成されたマイクロフォンコントローラを含み、マイクロフォンコントローラは、受信した入力を暗号化された音声データへ暗号化するように構成される1つ以上の鍵を含む鍵ストアをさらに含み、マイクロフォンコントローラは、鍵ストア内の1つ以上の鍵に関連付けられた1つ以上の復号鍵をそれぞれ含む1つ以上のアプリケーションコントローラと通信するように構成され、アプリケーションコントローラは、さらに、1つ以上の鍵を利用して音声データを復号し、復号された音声データを利用するように構成される。
音声認識機能を備えた例示的なシステムの機能ブロック図である。 音声データを暗号化および復号可能な音声認識機能を備えた例示的なシステムの機能ブロック図である。 音声データを暗号化および復号する音声認識システムのフローチャートである。
本開示の実施形態が本明細書に記載される。しかしながら、開示された実施形態は単なる例であり、他の実施形態は様々なおよび代替の形態を取ることができることを理解されたい。図は必ずしも縮尺どおりではない。特定のコンポーネントの詳細を表示するために、一部の特徴が誇張され、あるいは極小化されるかもしれない。したがって、本明細書で開示される特定の構造および機能の詳細は、限定するものとして解釈されるべきではなく、当業者に実施形態を様々に採用することを教示するための単なる代表的な基礎として解釈されるべきである。当業者が理解するように、図のいずれかを参照して示され、説明される様々な特徴は、1つ以上の他の図に示される特徴と組み合わせて、明示的に図示または説明されない実施形態を生成することができる。例示された特徴の組み合わせは、典型的な用途の代表的な実施形態を提供する。しかしながら、本開示の教示と一致する、特徴の様々な組み合わせおよび修正は、特定の用途または実施のために望ましい場合がある。
公開鍵基盤(PKI)には、デジタル証明書の作成、管理、配布、使用、保存、取り消し、および公開鍵暗号化の管理に必要な一連の役割、ポリシー、および手順が含まれ得る。PKIの目的は、eコマース、インターネットバンキング、機密の電子メールなど、さまざまなネットワークアクティビティの情報の安全な電子転送を促進することである。以下に示す実施形態では、様々なモジュール間で音声認識データを通信するために、PKIが利用され得る。PKIは、通信に関与する当事者の身元を確認し、転送される情報を検証するためのアクティビティに利用され得る。
暗号化において、PKIは公開鍵を主体(人や組織など)のそれぞれのIDに結びつける取り決めである。結びつきは、認証局での登録および認証局による証明書の発行のプロセスを通じて確立され得る。結びつきの保証レベルに応じて、これは自動化されたプロセスまたは人間の監督下で実行される。有効で正しい登録を保証するPKIの役目は、登録機関と呼ばれる。登録機関は、デジタル証明書の要求を引き受け、その要求を行う主体を認証する責任がある。主体は、その主体に関する情報に基づいて、各認証局ドメイン内で一意に識別可能である。第三者確認機関は、認証局のために、主体情報を提供することができる。
図1は、一般的な音声認識機能を備えたシステム8の概要を示している。図1に示すように、システム8は、自動車、商用トラック、オートバイ、オフロード車両などの車両に見受けられ得る。システム8は、表示制御ユニット(以下、DCUとも呼ばれる)2、ナビゲーションユニット3、オーディオユニット4、および電話通信ユニット5を含む。DCU2およびナビゲーションユニット3は、それぞれ、内蔵された音声認識装置6および7を含み得る。DCU2およびナビゲーションユニット3は、システム8のコンポーネントである。DCU2は、コントローラ9(音声認識コントローラの一例)、ヒューマンマシンインターフェース10(以下、HMIとも呼ばれる)、音声合成器11(テキスト音声化(TTS)部)11、音声認識装置(音声認識(VR)部)6、認識辞書12、そして、表示制御ユニットおよびナビゲーションインターフェース(DCU−Navi I/F)13を含む。コントローラ9は、DCU2の各部を制御する機能を有する。HMI10は、ディスプレイ、操作部、リモコンを含む。操作部は、ディスプレイの画面上に設けられたタッチパネルと、ディスプレイの画面周辺に設けられた複数の操作スイッチとを含む。
音声合成器11は、コントローラ9からのテキストを音声(音声信号)に変換(合成)するように機能することができる。合成された音声はコントローラ9に出力される。合成された音声は、コントローラ9からオーディオユニット4に送られ、オーディオユニット4のスピーカを介して音声として出力される。
音声認識装置6は、認識辞書12の各辞書を用いて、マイクロフォン14を介して入力される音声(アナログ音声信号)の音声認識を行う機能を備えることができる。認識結果はコントローラ9に出力される。認識辞書12は、コマンド用辞書15、音楽用辞書16、電話用辞書17を含む。コマンド用辞書15、音楽用辞書16、電話用辞書17は、それぞれ、コマンド(DCU2、ナビゲーションユニット3、オーディオユニット4、および電話通信ユニット5用の各種コマンド)、音楽、電話などの3つのデータフィールドに対応する音声認識辞書である。認識辞書12は、上述の3つのデータフィールド以外の1つ以上のデータフィールドに対応する1つ以上の音声認識辞書をさらに含んでもよい。認識辞書12は、物理的な入力(例えば、ハンドルスイッチの起動、ボタンの押下など)ではなく、音声コマンドを利用して音声認識セッションを起動するために利用される「ウェイクワード」を含むことができる。
コントローラ9は、DCU−Navi I/F13と、ナビゲーションユニット3のDCU−Navi I/F18を介して、ナビゲーションユニット3とデータ通信を行うことができる。DCU2は、DCU2とオーディオユニット4との間または電話通信ユニット5とデータ通信を実行するためのインターフェース(図示せず)を含む。
図1に示すように、ナビゲーションユニット3は、コントローラ19、音声合成器20(TTS部)、音声認識装置7(VR部)、認識辞書21、およびDCU−Navi I/F18を含み得る。また、ナビゲーションユニット3は、ナビゲーション装置の典型的な構成を含み、たとえば、車両の現在位置を検出する位置検出装置、地図データ等を入力する地図データ入力装置、現在位置から目的地までの経路を算出する経路算出装置、および、経路に沿った案内を行う経路案内装置を含む(各装置は図示されない)。
コントローラ19は、ナビゲーションユニット3の各部を制御する機能を有する。音声合成器20は、コントローラ19からのテキストを音声(音声信号)に変換(合成)する機能を有する。合成された音声は、コントローラ19に出力される。合成された音声は、コントローラ19からDCU2に送られ、オーディオユニット4のスピーカを介して音声として出力される。
音声認識装置7は、マイクロフォン14を介して入力された音声(アナログ音声信号)をDCU2を介して受信する。音声認識装置7は、認識辞書21の各辞書を用いて、この入力音声の音声認識を行う機能を有する。音声認識結果は、コントローラ19に出力される。認識辞書21は、住所用辞書22、ポイント・オブ・インタレスト(POI)用辞書23、およびコマンド用辞書24を含む。住所用辞書22、POI用辞書23、およびコマンド用辞書24は、それぞれ、住所、POI(施設名)、およびコマンド(ナビゲーションユニット3用のさまざまなコマンド)の3つのデータフィールドに対応する音声認識辞書である。認識辞書21は、上述の3つのデータフィールド以外の1つ以上のデータフィールドに対応する1つ以上の音声認識辞書をさらに含んでもよい。
コントローラ19は、DCU−Navi I/F18と、DCU2のDCU−Navi I/F13を介して、DCU2とデータ通信を行う。本実施形態におけるナビゲーションユニット3は、典型的なナビゲーション装置のいくつかの構成を含むが、典型的なナビゲーション装置の特定の構成を含まない。具体的な構成は、ディスプレイ、タッチパネル、操作ユニット、およびリモコンを含むHMIである。ナビゲーションユニット3は、ナビゲーションユニット3のHMIとして、DCU2を利用することができる。
この構成では、ナビゲーションユニット3のHMIとしてDCU2を用いた場合、制御主体(マスタ制御主体)がナビゲーションユニット3に移行し、ナビゲーションユニット3がDCU2(スレーブ制御主体)を制御する。その後、ナビゲーションユニット3が動作(ナビゲーション処理)を終了すると、マスタ制御主体はDCU2に戻り、DCU2はナビゲーションユニット3(スレーブ制御主体)を制御する。なお、車両の電源投入時(初期状態または通常状態の場合)は、DCU2が主制御装置であり、DCU2は、ナビゲーションユニット3(例えば、スレーブ制御主体)を制御する。
オーディオユニット4がDCU2に接続されている状況では、DCU2は、オーディオユニット4のHMIとして動作することができる。たとえば、ユーザが、DCU2のタッチパネルを操作したり、マイクロフォン14を介して音声を入力したりすることにより、音楽の名称を入力すると、DCU2は、オーディオユニット4によって音楽を再生するための指令を送信する。この指令に応じて、オーディオユニット4は音楽を再生する。この場合、DCU2がマスタ制御主体となり、DCU2はオーディオユニット4(スレーブ制御主体)を制御する。
電話通信ユニット5がDCU2に接続されている場合には、DCU2は、電話通信ユニット5のHMIとして動作する。具体的には、ユーザが、DCU2のタッチパネルを操作したり、マイクロフォン14を介して音声入力したりすることにより、電話番号(または、電話をかける相手の名前)を入力すると、DCU2は、その電話番号に電話をかけるよう、電話通信ユニット5へ指令を送信する。電話通信ユニット5は、指令に応じて、電話番号に電話をかける。この場合、DCU2がマスタ制御主体であり、DCU2は、電話通信ユニット5(スレーブ制御主体)を制御する。電話通信ユニット5によって電話がかけられると、DCU2のマイクロフォン14が通話用のマイクロフォンとして役立ち、オーディオユニット4のスピーカが通話用のスピーカとして役立つことができる。電話通信ユニット5が着呼を受信すると、着呼信号がDCU2に送られる。そして、DCU2は、着呼に応答して、その着呼をユーザに知らせる。ユーザが通話開始を選択すると、DCU2は、通話開始の指示を電話通信ユニット5に送信し、通話を開始する。
図2は、音声データを暗号化および復号することができる音声認識機能を備えたシステム200を示している。システム200は、図1のシステムと似ているが、図2の実施形態は、様々なエリアの鍵ストア205並びに暗号化および復号鍵を示している。システム200は、マイクロフォンモジュール201を含むことができる。マイクロフォンモジュール201は、車両マイクロフォンまたは補助マイクロフォン(例えば、モバイルデバイス、タブレット、電話などの外部ソースのマイクロフォン)と通信することができる。マイクロフォンモジュール201を利用して、入力またはトリガに応答して音声認識セッションを開始することができる。
マイクロフォンモジュール201は、「ウェイクワード」検出エンジン203を含むことができる。検出エンジン203は、音声認識セッションを開始するために利用することができる。「ウェイクワード」は、機械的な入力(例えば、ステアリングホイールスイッチまたは別の入力)を利用せずに音声認識セッションをトリガするワードである。「ウェイクワード」検出エンジン203の1つの例は、AMAZON ECHOアプリケーションでの「ALEXA」、またはAPPLE製品での「HEY SIRI」の使用である。「ウェイクワード」検出エンジン203は、車両室内の音声入力を常に待機していてもよい。
マイクロフォンモジュール201は、鍵ストア205を含むことができる。鍵ストア205は、マイクロフォンモジュール201で受信されるマイクロフォンからの音声入力を暗号化するために利用される様々な鍵を含むことができる。鍵ストア205の暗号化鍵は、特定の実施形態の暗号化された音声データを作成するために、音声入力データに対してハッシュを実行することができる。このようにして、特定の実施形態において、暗号化に加えてハッシュを実行することができる。このような場合、音声入力データはハッシュされ、その結果得られるハッシュ値は、データの信頼性を証明する手段として、鍵を使用して署名される。これにより、攻撃者が以前にキャプチャした暗号化された音声データを再生することを防ぐことができる。音声入力データを暗号化するために利用される鍵ストア205内の鍵は、暗号化された音声データを復号するためにも利用することができる。マイクロフォンモジュール201は、通常、セキュリティプロトコルの一部として構成されていないので、マイクロフォンモジュール201内の鍵および鍵ストア205は、典型的な場所ではない。
そして、暗号化された音声データ207は、マイクロフォンモジュール201から車両内の様々なデバイスに送信されてもよい。例えば、システム200は、それ自体の車内セルラーモジュール206(例えば、テレマティクスモジュール/テレマティクスシステム)を含むことができる。セルラーモジュール206は、車両から非車載の「クラウド」にデータおよび他の情報を通信するために利用されてもよい。暗号化された音声データ207は、モバイルデバイスの機能をリモートでアクティブにするために車内セルラーモジュール206に送信されてもよい。
アプリケーションモジュール209は、車両の様々な機能を操作するために利用される車両コンピュータシステムの一部であってもよい。アプリケーションモジュール209は、システム200のナビゲーションシステムを操作するために利用されるナビゲーションアプリケーション211を含むことができる。暗号化された音声データ207は、ナビゲーションアプリケーション211に渡されてもよい。ナビゲーションアプリケーション211は、暗号化された音声データ207を復号するために利用される、関連付けられた復号鍵を含むことができる。たとえば、ユーザが音声コマンドを話すと、音声データは暗号化鍵を使用して暗号化され、復号鍵を使用して復号される。いくつかの実施形態では、音声データを暗号化するために利用されたのと同じ鍵が、暗号化された音声データを復号するために利用されてもよい。例として、アプリケーションモジュール209は、受信された音声入力に応じて、アプリケーションモジュール209上でコマンドを開始するために、復号された音声データを利用してもよい。たとえば、ユーザは音声コマンドとして住所を話してもよい。マイクロフォンモジュール201は、音声入力を取得し、鍵ストア205内の鍵を利用して、音声入力(例えば、口頭での対話)を暗号化された音声データに暗号化することができる。暗号化された音声データ207は、暗号化された音声データ207を利用することになるアプリケーションモジュール209に送信されてもよい。次いで、アプリケーションモジュール209、ナビゲーションアプリケーション211、または仮想アシスタント213は、暗号化された音声データ207を復号することができる。復号された音声データは、ナビゲーションアプリケーション211が音声コマンドとしての住所を解読することを可能にし、したがって、ナビゲーションアプリケーション211を操作することができる。
仮想アシスタント213も、アプリケーションモジュール209に含まれてもよい。仮想アシスタント213は、非車載サーバから情報を検索することができるアプリケーションであり得る。仮想アシスタント213は、ユーザのスケジューリング、天気情報、または他の個人情報を援助することができる。復号鍵は、仮想アシスタント213に関連付けられてもよい。仮想アシスタント213の復号鍵は、鍵ストア205の鍵と対称であってもよい。
ブルートゥースモジュール215(ブルートゥースは登録商標。以下同様)またはハンズフリーシステムは、アプリケーションモジュール209に含めることができる。ブルートゥースモジュール215は、モバイルデバイス217(例えば、スマートフォン、タブレット、スマートウォッチなど)または別のモバイルデバイスをシステム200に接続するために利用することができる。ブルートゥースモジュール215は、モバイルデバイス217のハンズフリー操作を可能にすることができる。ブルートゥースモジュール215は、マイクロフォンモジュール201は、特定の連絡先またはいくつかの他の機能にダイヤルアウトするために利用することができる。
一実施形態では、ブルートゥースプロトコルは、ブルートゥースモジュール215からモバイルデバイス217にデータを送信するための、それ自体の型式のセキュリティメカニズムを含むことができる。しかしながら、別の実施形態では、ブルートゥースモジュール215は、暗号化されたデータをモバイルデバイス217に送信してもよい。モバイルデバイス217は、鍵(例えば、復号鍵)を含むことができる。モバイルデバイス217上で対応する鍵は、登録または他の手段を介して鍵ストア205によって関連付けられるために検索され得る。たとえば、アプリケーションが、復号鍵を鍵ストア205の鍵に関連付ける携帯電話にダウンロードされてもよい。
図3は、音声データを暗号化および復号する音声認識システムのフローチャート300を示す。フローチャート300は、音声プリケーションコントローラなどの、車両コンピュータシステム、またはコントローラ、またはプロセッサ上で実行することができる。アプリケーションが、判定ステップ301で、音声コマンドを介して音声アプリケーションを要求しているとき、システムが開始され得る。システムは、音声認識セッションを開始するために、入力のアクティブ化を常に監視する音声アプリケーションコントローラを含むことができる。たとえば、ステアリングホイールスイッチまたは「ウェイクワード」が、音声認識セッションを開始するために利用され得る。もちろん、インターフェースからの他の入力が利用されてもよい。
ステップ303で、システムはアプリケーションモジュールをトリガすることができる。アプリケーションモジュールは、たとえば、ナビゲーションアプリケーション、仮想アシスタントアプリケーション、ブルートゥースモジュール(たとえば、ブルートゥースアプリケーション)などを含むことができる。たとえば、ユーザは、音声コマンドを利用して、ナビゲーションアプリケーションまたはハンズフリー(たとえば、ブルートゥースアプリケーション)をロードすることを要求することができる。
判定ステップ305で、システムは、アプリケーションが音声コマンドによって要求されなかった状況で音声データが要求されたかどうかを判定することができる。音声認識システムは、図1および図2を参照して説明されたものなど(たとえば、ブルートゥースモジュール、ナビゲーションアプリケーションなど)の、車両の他のいくつかのアプリケーションおよびコントローラと連携して動作することができる。一例では、ナビゲーションアプリケーションは、音声認識システムおよび/または音声データの利用を要求することができ、したがって、音声認識セッションを開始することができる。
判定ステップ307で、システムは、単数または複数の受信者が音声要求を有するかどうかを判定することができる。たとえば、マイクロフォンコントローラは、1つのアプリケーションまたは複数のアプリケーションがマイクロフォンコントローラからの音声データを利用することを要求したかどうかを分析することができる。一例では、システムは、利用される音声データを記録して、スマートフォンに音声データを送信するロガーなど、複数の受信者に音声データを送信することができる。
ステップ309で、受信者が単一の受信者のみである場合、システムは対応する暗号鍵に変更することができる。たとえば、音声データを要求するアプリケーションがナビゲーションアプリケーションである場合、鍵ストア205を介して、マッピングされた鍵が音声データを暗号化するために利用され得る。暗号化鍵は、その後の送信の前に音声データを暗号化するために利用され得る。
ステップ311で、システムは、暗号化されたとき、その暗号化された音声データを受信側アプリケーションに送信することができる。暗号化された音声データを受信すると、アプリケーションは対応する鍵(例えば、復号鍵)を利用して音声データを復号することができる。別の実施形態では、一時鍵が送信され、暗号化された音声データを復号するために利用され得る。一時鍵は、マイクロフォンコントローラの暗号化エンジンの一部である乱数発生器から得られた一意の鍵とすることができる。一時鍵は、受信側アプリケーションに一時鍵を安全に配布し、引き続く音声データの(たとえば、一時鍵を利用する)復号を容易にするために、鍵ストア205の既存の鍵を利用する鍵確立プロセスの一部として配布される。一時鍵は、同じチャネルまたは異なるチャネルに、暗号化された音声データとともに送信されてもよい。一時鍵は、処理および通信帯域幅を削減するために利用される、一意のグループベースの鍵であってもよい。
ステップ313で、システムは、音声データを暗号化するために一時鍵を利用することができる。一時鍵は、鍵確立プロセスの実行ごとに生成されてもよい。場合によっては、音声データ要求の結果として、送信者が、1つの一時鍵のみを生成する(たとえば、ブロードキャストアプリケーションでの)単一のセッション内で、一時鍵は複数回使用されてもよい。一時鍵が生成、および変更されると、引き続く音声データの(たとえば、一時鍵を利用する)復号を容易にするために、一時鍵は、対応するアプリケーションモジュールに送信され得る。システムはその後、一時鍵によって暗号化された音声データを受信者に送信することができる。一時鍵は、補助通信チャネルまたは暗号化された音声データと同じチャネルで送信され得る。一時鍵は、暗号化されたデータを複数のアプリケーションに送信するときに帯域幅を削減するために利用され得る。
本明細書に示すプロセス、方法、またはアルゴリズムは、任意の既存のプログラム可能な電子制御ユニットまたは専用の電子制御ユニットを含む、処理デバイス、コントローラ、またはコンピュータに配信可能であり、または、それによって実行され得る。同様に、プロセス、方法、またはアルゴリズムは、限定されないが、ROMデバイスなどの書き込み不可能な記憶媒体に永続的に保存されている情報や、フロッピーディスク、磁気テープ、CD、RAMデバイス、および、その他の磁気および光学媒体などの書き込み可能な記憶媒体に変更可能に保存されている情報を含む多くの形式で、コントローラまたはコンピュータによって実行可能なデータおよび命令として保存され得る。プロセス、メソッド、またはアルゴリズムは、ソフトウェア実行可能オブジェクトに実装されてもよい。または、プロセス、方法、またはアルゴリズムの全体または一部を、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)、ステートマシン、コントローラ、その他のハードウェアコンポーネントまたはデバイス、または、ハードウェア、ソフトウェア、およびファームウェアのコンポーネントの組み合わせなどの適切なハードウェアコンポーネントを使用して具体化することができる。本明細書で使用される言葉は、限定ではなく説明の言葉であり、本開示の主旨および範囲から逸脱することなく様々な変更を加えることができることが理解される。たとえば、モジュールという用語は、コンピュータによって利用される命令に応答し、その命令を処理するプロセッサ、コントローラ、または他の任意のタイプの論理回路を表すことができる。さらに、モジュールという用語は、ルーチンを含むプログラム(または複数のプログラム)の一部を記述するためにソフトウェアに利用されてもよい。
例示的な実施形態が上記で説明されているが、それらの実施形態は、特許請求の範囲に包含されるすべての可能な形態を説明することを意図するものではない。前述のように、さまざまな実施形態の特徴を組み合わせて、明示的に説明または図示されていない本発明のさらなる実施形態を形成することができる。様々な実施形態は、利点を提供するか、または1つ以上の所望の特性に関して他の実施形態または先行技術の形態よりも好ましいと説明されたかもしれないが、当業者は、特定の用途や実施に依存して、所望のシステム全体の特質を達成するために、1つ以上の特徴または特性が妥協され得ることを認識する。これらの特質には、限定されないが、コスト、強度、耐久性、ライフサイクルコスト、市場性、外観、包装、サイズ、保守性、重量、製造性、組み立ての容易さなどが含まれる。したがって、いずれかの実施形態が、1つ以上の特性に関して他の実施形態または先行技術の形態よりも望ましくないと記載されている程度まで、これらの実施形態は本開示の範囲外ではなく、特定の用途に望ましい場合がある。

Claims (20)

  1. 音声入力を受け入れるように構成される1つ以上のマイクロフォンと、
    音声入力を受信し、開始される音声認識セッションで音声入力を利用するように構成されるマイクロフォンコントローラと、
    前記マイクロフォンコントローラは、受信した音声入力を暗号化された音声データへ暗号化するように構成される1つ以上の鍵を含む鍵ストアをさらに含み、
    鍵ストア内の1つ以上の鍵に関連付けられた1つ以上の復号鍵をそれぞれ含む1つ以上のアプリケーションコントローラと、を備え、
    前記アプリケーションコントローラは、さらに、復号鍵を用いて音声データを復号し、復号された音声データを利用するように構成される、車両コンピュータシステム。
  2. 前記1つ以上のアプリケーションコントローラは、第1の復号鍵を備えたナビゲーションアプリケーションと、第2の復号鍵を備えたブルートゥースコントローラとを含む、請求項1に記載の車両コンピュータシステム。
  3. 前記マイクロフォンコントローラは、前記1つ以上のマイクロフォンから受信したウェイクワードに応答して音声認識セッションを起動するように構成されたウェイクワード検出エンジンをさらに含む、請求項1に記載の車両コンピュータシステム。
  4. 音声入力はアナログであり、暗号化された音声データはデジタルデータである、請求項1に記載の車両コンピュータシステム。
  5. 音声入力はアナログであり、復号された音声データはデジタルデータである、請求項1に記載の車両コンピュータシステム。
  6. 受信した音声入力を暗号化するように構成された前記1つ以上の鍵は、前記1つ以上の復号鍵と対称である、請求項1に記載の車両コンピュータシステム。
  7. 受信した音声入力を暗号化するように構成された前記1つ以上の鍵は、前記1つ以上の復号鍵と非対称である、請求項1に記載の車両コンピュータシステム。
  8. 受信した音声入力を暗号化するように構成された前記1つ以上の鍵は、一時鍵である、請求項1に記載の車両コンピュータシステム。
  9. 1つ以上の復号鍵は、一時鍵である、請求項1に記載の車両コンピュータシステム。
  10. マイクロフォンコントローラによって開始される音声認識セッションで利用される、1つ以上のマイクロフォンからの音声入力を受信するようにプログラムされたプロセッサを備えたマイクロフォンコントローラであって、
    前記マイクロフォンコントローラは、受信した音声入力を暗号化された音声データへ暗号化するように構成される1つ以上の鍵を含む鍵ストアをさらに含む、マイクロフォンコントローラ。
  11. ウェイクワード入力に応答して音声認識セッションを起動するように構成されたウェイクワード検出エンジンをさらに含む、請求項10に記載のマイクロフォンコントローラ。
  12. 前記1つ以上の鍵は、第2の復号鍵に関連付けられる第1の暗号化鍵を含み、前記第2の復号鍵は、前記マイクロフォンコントローラではない車両コントローラに配置される、請求項10に記載のマイクロフォンコントローラ。
  13. 前記第1の暗号化鍵は、前記第2の復号鍵と対称である、請求項12に記載のマイクロフォンコントローラ。
  14. 前記マイクロフォンコントローラは、前記暗号化された音声データを復号するように構成された1つ以上の復号鍵を含む1つ以上の車両コントローラと通信するようにさらに構成される、請求項10に記載のマイクロフォンコントローラ。
  15. 受信した音声入力はアナログであり、暗号化された音声データはデジタルである、請求項10に記載のマイクロフォンコントローラ。
  16. 受信した音声入力を暗号化するように構成された前記1つ以上の鍵は、受信した音声入力を復号するように構成された1つ以上の鍵と関連付けられる、請求項10に記載のマイクロフォンコントローラ。
  17. 音声入力を受信し、音声認識セッションで音声入力を利用するように構成されたマイクロフォンコントローラと、
    前記マイクロフォンコントローラは、受信した音声入力を暗号化して、暗号化された音声データを生成するように構成される1つ以上の鍵を含む鍵ストアをさらに含み、
    前記マイクロフォンコントローラと通信するように構成された1つ以上のアプリケーションコントローラと、を備え、
    前記1つ以上のアプリケーションコントローラは、前記鍵ストア内の1つ以上の鍵に関連付けられた1つ以上の復号鍵を含み、
    前記アプリケーションコントローラは、さらに、1つ以上の鍵を利用して音声データを復号するように構成される車両コンピュータシステム。
  18. 前記アプリケーションコントローラは、受信した音声入力に対応するコマンドを開始するために、復号された音声データを利用するようにさらに構成され、
    前記コマンドは、前記アプリケーションコントローラに関連付けられる、請求項17に記載の車両コンピュータシステム。
  19. 音声入力はアナログであり、暗号化された音声データはデジタルである、請求項17に記載の車両コンピュータシステム。
  20. 1つ以上の復号鍵は、一時鍵である、請求項17に記載の車両コンピュータシステム。
JP2020089081A 2019-05-29 2020-05-21 車両コンピュータシステムおよびマイクロフォンコントローラ Active JP7245195B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/425,136 US20200380139A1 (en) 2019-05-29 2019-05-29 System and method for enhancing vehicle occupant voice data privacy
US16/425,136 2019-05-29

Publications (2)

Publication Number Publication Date
JP2020195131A true JP2020195131A (ja) 2020-12-03
JP7245195B2 JP7245195B2 (ja) 2023-03-23

Family

ID=73548092

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020089081A Active JP7245195B2 (ja) 2019-05-29 2020-05-21 車両コンピュータシステムおよびマイクロフォンコントローラ

Country Status (2)

Country Link
US (1) US20200380139A1 (ja)
JP (1) JP7245195B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220129543A1 (en) * 2020-10-27 2022-04-28 Arris Enterprises Llc Secure voice interface in a streaming media device to avoid vulnerability attacks
US11783831B1 (en) * 2021-06-29 2023-10-10 Amazon Technologies, Inc. Data protection in a multi-assistant system
US20240048382A1 (en) 2022-08-03 2024-02-08 1080 Network, Llc Systems, methods, and computing platforms for executing credential-less network-based communication exchanges

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005032032A (ja) * 2003-07-07 2005-02-03 Kyowa Denshi Kogyo Kk 超小型情報端末装置
JP2012500526A (ja) * 2008-08-13 2012-01-05 グレイリン,ウィル,ワン 内蔵音声フィードバック及び音声コマンドを用いる装着可能(wearable)なヘッドセット
JP2017146437A (ja) * 2016-02-17 2017-08-24 本田技研工業株式会社 音声入力処理装置
WO2017165807A1 (en) * 2016-03-25 2017-09-28 Thien Van Pham Methods, systems, and media for using dynamic public key infrastructure to send and receive encrypted messages
JP2018517919A (ja) * 2015-04-10 2018-07-05 華為技術有限公司Huawei Technologies Co.,Ltd. 音声認識方法、音声ウェイクアップ装置、音声認識装置、および端末

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020067245A1 (en) * 2000-06-20 2002-06-06 Campbell Douglas C. Voice Activated remote keyless entry fob
US8713704B2 (en) * 2011-09-24 2014-04-29 Elwha Llc Behavioral fingerprint based authentication
US20140143839A1 (en) * 2011-11-16 2014-05-22 Flextronics Ap, Llc. On board vehicle remote control module
WO2014102722A1 (en) * 2012-12-26 2014-07-03 Sia Technology Ltd. Device, system, and method of controlling electronic devices via thought
US20140303837A1 (en) * 2013-04-09 2014-10-09 Navteq Method and apparatus for authorizing access and utilization of a vehicle

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005032032A (ja) * 2003-07-07 2005-02-03 Kyowa Denshi Kogyo Kk 超小型情報端末装置
JP2012500526A (ja) * 2008-08-13 2012-01-05 グレイリン,ウィル,ワン 内蔵音声フィードバック及び音声コマンドを用いる装着可能(wearable)なヘッドセット
JP2018517919A (ja) * 2015-04-10 2018-07-05 華為技術有限公司Huawei Technologies Co.,Ltd. 音声認識方法、音声ウェイクアップ装置、音声認識装置、および端末
JP2017146437A (ja) * 2016-02-17 2017-08-24 本田技研工業株式会社 音声入力処理装置
WO2017165807A1 (en) * 2016-03-25 2017-09-28 Thien Van Pham Methods, systems, and media for using dynamic public key infrastructure to send and receive encrypted messages

Also Published As

Publication number Publication date
JP7245195B2 (ja) 2023-03-23
US20200380139A1 (en) 2020-12-03

Similar Documents

Publication Publication Date Title
JP7245195B2 (ja) 車両コンピュータシステムおよびマイクロフォンコントローラ
JP6307665B2 (ja) 再生不能通信セッションのためのシステムおよび方法
US20160277923A1 (en) Method and apparatus for performing secure bluetooth communication
US9577784B2 (en) System, device, and method for securing voice authentication and end-to-end speech interaction
US9503462B2 (en) Authenticating security parameters
US8855303B1 (en) Cryptography using a symmetric frequency-based encryption algorithm
US9924358B2 (en) Bluetooth voice pairing apparatus and method
JP2005518721A (ja) 音響2因子認証システム及び方法
JP2006528391A (ja) 音響チャネルによるデジタル認証
JPWO2008117556A1 (ja) ログ取得システム、ログ収集端末、ログ取得端末、それらを用いたログ取得方法及びプログラム
KR20100007100A (ko) 바이오 키를 이용하여 VoIP을 기반으로 한 통신을수행하는 방법 및 장치
JP2023506661A (ja) 証明書申請方法およびデバイス
CN103973696A (zh) 一种语音通话的数据处理方法
EP3304850B1 (en) Methods and systems for communication-session arrangement on behalf of cryptographic endpoints
JP2005526449A (ja) 音響電子署名生成器をオラクルとして用いるシステムおよび方法
EP3304955B1 (en) Methods and systems for establishing an encrypted-audio session
US10791098B2 (en) Method for providing an authenticated connection between at least two communication partners
WO2015111444A1 (ja) 無線通信システム、通信端末、セキュリティ管理サーバ、機器管理サーバおよびそれらにおける無線通信方法
EP3910508A1 (en) System and methods for speaker identification, message compression and/or message replay in a communications environment
CN103986711A (zh) 一种语音通话的数据处理方法
CN104994500B (zh) 一种用于移动电话的语音保密传输方法及装置
US10299114B1 (en) External crypto modernization of legacy radios
KR20210104337A (ko) 양자난수 기반의 양자암호화칩이 탑재된 비화기기 및 이를 이용한 비화통신 서비스 제공방법
CN112242977A (zh) 一种数据传输方法及数据传输系统
CN104065649A (zh) 一种语音通话的数据处理方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200521

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210622

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210713

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20210909

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211012

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20220329

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220627

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20220627

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20220706

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20220712

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20220729

C211 Notice of termination of reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C211

Effective date: 20220802

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20220906

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20221011

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20221108

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20221227

C23 Notice of termination of proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C23

Effective date: 20230131

C03 Trial/appeal decision taken

Free format text: JAPANESE INTERMEDIATE CODE: C03

Effective date: 20230307

C30A Notification sent

Free format text: JAPANESE INTERMEDIATE CODE: C3012

Effective date: 20230307

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230310

R150 Certificate of patent or registration of utility model

Ref document number: 7245195

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150