JP2020044879A - 車両用音入出力装置 - Google Patents

車両用音入出力装置 Download PDF

Info

Publication number
JP2020044879A
JP2020044879A JP2018172610A JP2018172610A JP2020044879A JP 2020044879 A JP2020044879 A JP 2020044879A JP 2018172610 A JP2018172610 A JP 2018172610A JP 2018172610 A JP2018172610 A JP 2018172610A JP 2020044879 A JP2020044879 A JP 2020044879A
Authority
JP
Japan
Prior art keywords
output
sound
occupant
seat
speaker
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2018172610A
Other languages
English (en)
Inventor
英之 桜井
Hideyuki Sakurai
英之 桜井
聖史 森
Satoshi Mori
聖史 森
克也 島津
Katsuya Shimazu
克也 島津
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2018172610A priority Critical patent/JP2020044879A/ja
Priority to CN201910700732.4A priority patent/CN110913313A/zh
Priority to EP19197114.2A priority patent/EP3623936A3/en
Priority to US16/568,570 priority patent/US10805730B2/en
Publication of JP2020044879A publication Critical patent/JP2020044879A/ja
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/165Management of the audio stream, e.g. setting of volume, audio stream path
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00Stereophonic arrangements
    • H04R5/02Spatial or constructional arrangements of loudspeakers
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/02Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof
    • B60R11/0217Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof for loud-speakers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/167Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/59Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10KSOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K11/00Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/16Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/175Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound
    • G10K11/178Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase
    • G10K11/1783Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase handling or detecting of non-standard events or conditions, e.g. changing operating modes under specific operating conditions
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10KSOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K11/00Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/16Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/175Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound
    • G10K11/178Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase
    • G10K11/1787General system configurations
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00Circuits for transducers, loudspeakers or microphones
    • H04R3/12Circuits for transducers, loudspeakers or microphones for distributing signals to two or more loudspeakers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00Stereophonic arrangements
    • H04R5/04Circuit arrangements, e.g. for selective connection of amplifier inputs/outputs to loudspeakers, for loudspeaker detection, or for adaptation of settings to personal preferences or hearing impairments
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10KSOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K11/00Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/16Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/175Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound
    • G10K11/178Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase
    • G10K11/1785Methods, e.g. algorithms; Devices
    • G10K11/17857Geometric disposition, e.g. placement of microphones
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10KSOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K2210/00Details of active noise control [ANC] covered by G10K11/178 but not provided for in any of its subgroups
    • G10K2210/10Applications
    • G10K2210/12Rooms, e.g. ANC inside a room, office, concert hall or automobile cabin
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10KSOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K2210/00Details of active noise control [ANC] covered by G10K11/178 but not provided for in any of its subgroups
    • G10K2210/10Applications
    • G10K2210/128Vehicles
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00Details of transducers, loudspeakers or microphones
    • H04R1/20Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/323Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only for loudspeakers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00Details of transducers, loudspeakers or microphones
    • H04R1/20Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/326Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only for microphones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2205/00Details of stereophonic arrangements covered by H04R5/00 but not provided for in any of its subgroups
    • H04R2205/026Single (sub)woofer with two or more satellite loudspeakers for mid- and high-frequency band reproduction driven via the (sub)woofer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2420/00Details of connection covered by H04R, not provided for in its groups
    • H04R2420/03Connection circuits to selectively connect loudspeakers or headphones to amplifiers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2460/00Details of hearing devices, i.e. of ear- or headphones covered by H04R1/10 or H04R5/033 but not provided for in any of their subgroups, or of hearing aids covered by H04R25/00 but not provided for in any of its subgroups
    • H04R2460/01Hearing devices using active noise cancellation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10General applications
    • H04R2499/13Acoustic transducers and sound field adaptation in vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Otolaryngology (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Stereophonic System (AREA)

Abstract

【課題】車室内の任意の乗員にのみ音を出力することができる車両用音入出力装置を得る。【解決手段】車両用音入出力装置10は、車室内に設けられたマイクと、車室内に設けられ、各座席に対して音を出力する複数の指向性を備えたスピーカと、マイクで集音された音声又は音声の発話者からの入力により出力先の座席を特定する出力位置特定部54と、出力位置特定部54で特定された座席へスピーカから音を出力させる出力制御部60と、を有する。【選択図】図7

Description

本発明は、車両用音入出力装置に関する。
特許文献1には、車室内に指向性マイク及び指向性スピーカが設けられた構造が開示されている。
特開2004−529807号公報
特許文献1の技術では、マイクによって乗員の音声が集音されると、ラジオ又はオーディオの音量が自動的に低減される。しかしながら、車室内の任意の乗員にのみ音を出力するには改善の余地がある。
本発明は上記事実を考慮し、車室内の任意の乗員にのみ音を出力することができる車両用音入出力装置を得ることを目的とする。
請求項1に記載の車両用音入出力装置は、車室内に設けられたマイクと、車室内に設けられ、各座席に対して音を出力する複数の指向性を備えたスピーカと、前記マイクで集音された音声又は音声の発話者からの入力により出力先の座席を特定する出力位置特定部と、前記出力位置特定部で特定された座席へ前記スピーカから音を出力させる出力制御部と、を有する。
請求項1に記載の車両用音入出力装置では、車室内に複数のマイクと複数のスピーカとが設けられており、スピーカは各座席に対して音を出力できるように構成されている。また、車両用音入出力装置は、マイクで集音された音声又は音声の発話者からの入力によって出力先の座席を特定する出力位置特定部を有している。さらに、車両用音入出力装置は、出力位置特定部で特定された座席へスピーカから音を出力させる出力制御部を有している。このようにして、出力位置特定部で出力先の座席が特定されるため、車室内の任意の乗員と会話をしたり、任意の乗員にのみ音楽を再生させることができる。
請求項2に記載の車両用音入出力装置は、請求項1において、座席に着座した乗員を特定する乗員特定部と、前記マイクで集音された音声の発話者を特定する発話者特定部と、を備え、前記出力位置特定部は、前記マイクで集音された音声に乗員を特定する呼び名が含まれている場合は、該乗員が着座している座席を出力先として設定し、前記マイクで集音された音声に前記呼び名が含まれていない場合は、発話者以外の乗員が着座している座席を出力先として設定する。
請求項2に記載の車両用音入出力装置では、乗員特定部によって座席に着座した乗員が特定される。また、出力位置特定部は、発話者が会話をしたい乗員を特定する呼び名を含めてマイクへ発話することで、当該乗員が着座している座席を出力先として設定する。これにより、乗員は、会話したい相手の呼び名を含めて話すだけで、特定の乗員と会話をすることができる。また、呼び名を含まずに話すだけで、発話者以外の乗員へ話し掛けることができる。
請求項3に記載の車両用音入出力装置は、請求項1において、前記出力位置特定部は、前記マイクで集音された音声に、音楽を再生する指示に対応する所定の言葉が含まれている場合には、発話者が着座している座席を出力先として設定し、前記出力制御部は、前記出力位置特定部で特定された座席へ前記スピーカから音楽を再生させる。
請求項3に記載の車両用音入出力装置では、出力制御部は、所定の言葉を発話した乗員を出力先として設定する。そして、出力制御部によって乗員の座席へスピーカから音楽が再生される。これにより、乗員が所定の言葉をマイクに向かって発話するだけで、音楽を聴くことができる。
請求項4に記載の車両用音入出力装置は、請求項1〜3の何れか1項において、前記スピーカから出力される音に対して逆位相となる逆位相音を生成する逆位相音生成部をさらに備え、前記出力制御部は、前記出力位置特定部で特定された座席に対して、該座席に対応する前記スピーカから音を出力させると同時に、該座席以外の各座席に対して、対応する前記スピーカから逆位相音を出力させる。
請求項4に記載の車両用音入出力装置では、音を出力させる座席以外の各座席に対して、スピーカから逆位相音を出力させることで、音が打ち消され、他の乗員へ音が漏れるのを抑制することができる。
請求項5に記載の車両用音入出力装置は、請求項1〜4の何れか1項において、乗員の覚醒状態を判定する覚醒状態判定部をさらに備え、前記出力制御部は、前記覚醒状態判定部によって入眠していると判定された乗員に対して音の出力を停止する。
請求項5に記載の車両用音入出力装置では、入眠している乗員への音の出力を停止することで、乗員の入眠を妨げずに済む。
請求項6に記載の車両用音入出力装置は、請求項4において、乗員の覚醒状態を判定する覚醒状態判定部をさらに備え、前記出力制御部は、前記覚醒状態判定部によって入眠していると判定された乗員に対して、前記逆位相音生成部で生成された逆位相音を出力させる。
請求項6に記載の車両用音入出力装置では、入眠している乗員へ逆位相の音を出力させることで、他のスピーカから音が出力されている場合であっても、この音を打ち消すことができ、乗員の入眠を妨げずに済む。
以上説明したように、本発明に係る車両用音入出力装置によれば、車室内の任意の乗員にのみ音を出力することができる。
実施形態に係る車両用音入出力装置が搭載された車両の車室内を概略的に示す斜視図である。 実施形態に係る車両用音入出力装置が搭載された車両の車室内を概略的に示す側面図である。 実施形態に係る車両用音入出力装置が搭載された車両の車室内を概略的に示す平面図である。 実施形態に係る車両用音入出力装置が搭載された車両の車室内を概略的に示す側面図である。 実施形態に係る車両用音入出力装置のハードウェア構成を示すブロック図である。 ECUのハードウェア構成を示すブロック図である。 車両用音入出力装置の機能構成を示すブロック図である。 音声入出力処理の流れの一例を示すフローチャートである。 音楽再生処理の流れの一例を示すフローチャートである。
実施形態に係る車両用音入出力装置10について、図面を参照して説明する。なお、図面の寸法比率は、説明の便宜上、誇張されており、実際の寸法比率とは異なる場合がある。また、各図に適宜記す矢印FR、矢印UP及び矢印RHは、車両の前方向、上方向及び幅方向の右側をそれぞれ示している。以下、単に前後、上下、左右の方向を用いて説明する場合は、特に断りのない限り、車両前後方向の前後、車両上下方向の上下、車両前方向を向いた場合の左右を示すものとする。
図1に示されるように、車両用音入出力装置10は、車両12に搭載されている。車両12は、乗員が操縦することなく自動走行可能な、所謂自動運転車両であり、センサ類によって周囲の状況を把握して自動運転することが可能となっている。なお、本実施形態の車両12は、乗員が運転する手動運転モードと、自動走行する自動運転モードとの間で切替可能に構成されている。
車両12の車室内には、複数の座席14が配置されている。図1及び図3に示されるように、本実施形態では一例として、運転席14A、助手席14B、後席14C及び後席14Dの四つの座席14が配置されている。
ここで、車両12の天井部には、複数の音入出力部18が設けられている。本実施形態では、四つの音入出力部18A、音入出力部18B、音入出力部18C及び音入出力部18Dが設けられており、それぞれ、指向性を備えたマイク32と指向性を備えたスピーカ34とを含んで構成されている(図5参照)。
音入出力部18A及び音入出力部18Bは、運転席14A及び助手席14Bの前斜め上方のオーバーヘッドコンソール16に設けられている。そして、音入出力部18Aは、運転席14Aへ向けられている。すなわち、音入出力部18Aのマイク32Aは、運転席14Aに着座した乗員P1が発話した音声を集音可能に構成されている。また、音入出力部18Aのスピーカ34Aは、乗員P1へのみ音を出力可能に構成されている。
音入出力部18Bは、助手席14Bへ向けられている。すなわち、音入出力部18Bのマイク32Bは、助手席14Bに着座した乗員P2が発話した音声を集音可能に構成されている。また、音入出力部18Bのスピーカ34Bは、乗員P2へのみ音を出力可能に構成されている。
音入出力部18C及び音入出力部18Dは、後席14C及び後席14Dの前斜め上方に設けられており、音入出力部18Cは、後席14Cへ向けられている。すなわち、音入出力部18Cのマイク32Cは、後席14Cに着座した乗員P3が発話した音声を集音可能に構成されている。また、音入出力部18Cのスピーカ34Cは、乗員P3へのみ音を出力可能に構成されている。
音入出力部18Dは、後席14Dへ向けられている。すなわち、音入出力部18Dのマイク32Dは、後席14Dに着座した乗員P4が発話した音声を集音可能に構成されている。また、音入出力部18Dのスピーカ34Dは、乗員P4へのみ音を出力可能に構成されている。
オーバーヘッドコンソール16には、音入出力部18A及び音入出力部18Bの他に、車室内カメラ20が設けられている。車室内カメラ20は、車室内に向けられており、乗員P1〜P4の顔を撮像できるように構成されている。
ここで、車両12には、制御部であるECU(Electronic Control Unit)22が設けられており、車両用音入出力装置10は、音入出力部18、車室内カメラ20及びECU22を含んで構成されている。また、図2に示されるように、ECU22は、ネットワークを介してサーバ24と接続できるように構成されている。サーバ24には、乗員P1〜P4についての情報が格納されており、例えば、乗員Pの呼び名(氏名など)、顔の画像、声紋、聴覚能力及び好きな音楽などの情報が格納されている。なお、図2において、一点鎖線で示す領域は、音入出力部18A及び音入出力部18Cのマイク32Cの集音範囲と、スピーカ34Cの出力範囲を示したものである。
図5は、車両用音入出力装置10のハードウェア構成を示すブロック図である。この図5に示されるように、車両用音入出力装置10は、ECU22、マイクアンプ26、スピーカアンプ28、四つのマイク32(マイク32A、マイク32B、マイク32C、マイク32D)、四つのスピーカ34(スピーカ34A、スピーカ34B、スピーカ34C、スピーカ34D)、サーバ24、車室内カメラ20及び心拍数検知部30を含んで構成されている。
マイク32Aは、音入出力部18Aを構成するマイクであり、マイクアンプ26を介してECU22と電気的に接続されている。同様に、マイク32B、マイク32C及びマイク32Dはそれぞれ音入出力部18B、音入出力部18C及び音入出力部18Dを構成するマイクであり、マイクアンプ26を介してECU22と電気的に接続されている。
スピーカ34Aは、音入出力部18Aを構成するスピーカであり、スピーカアンプ28を介してECU22と電気的に接続されている。同様に、スピーカ34B、スピーカ34C及びスピーカ34Dはそれぞれ音入出力部18B、音入出力部18C及び音入出力部18Dを構成するスピーカであり、スピーカアンプ28を介してECU22と電気的に接続されている。
心拍数検知部30は、座席に着座した乗員の心拍数を検知する装置であり、図2に示されるように、各座席14の背もたれ部(シートバック)に内蔵されている。
図6は、ECU22のハードウェア構成を示すブロック図である。この図6に示されるように、ECU22は、CPU(Central Processing Unit:プロセッサ)36、ROM(Read Only Memory)38、RAM(Random Access Memory)40、ストレージ42及び通信インタフェース44を含んで構成されている。また、各構成は、バス45を介して相互に通信可能に接続されている。
CPU36は、中央演算処理ユニットであり、各種プログラムを実行したり、各部を制御したりする。すなわち、CPU36は、ROM38又はストレージ42からプログラムを読み出し、RAM40を作業領域としてプログラムを実行する。CPU36は、ROM38又はストレージ42に記録されているプログラムに従って、上記各構成の制御および各種の演算処理を行う。
ROM38は、各種プログラムおよび各種データを格納する。RAM40は、作業領域として一時的にプログラムまたはデータを記憶する。ストレージ42は、HDD(Hard Disk Drive)またはSSD(Solid State Drive)により構成され、オペレーティングシステムを含む各種プログラム、および各種データを格納する。
通信インタフェース44は、ECU22がサーバ24及び他の機器と通信するためのインタフェースであり、たとえば、イーサネット(登録商標)、FDDI、Wi−Fi(登録商標)等の規格が用いられる。
車両用音入出力装置10は、上記のハードウェア資源を用いて、各種の機能を実現する。車両用音入出力装置10が実現する機能構成について図7を参照して説明する。
図7に示されるように、車両用音入出力装置10は、機能構成として、音声記録部46、音声抽出部48、発話者特定部50、乗員特定部52、出力位置特定部54、覚醒状態判定部56、逆位相音生成部58及び出力制御部60を含んで構成されている。各機能構成は、CPU36がROM38又はストレージ42に記憶されたプログラムを読み出し、実行することにより実現される。
音声記録部46は、マイク32で集音された音声を記録する。また、音声抽出部48は、音声記録部46で記録された音声から特定の言葉を抽出する。例えば、乗員の呼び名や音楽の再生に関する言葉を抽出する。
発話者特定部50は、マイク32で集音された音声の発話者を特定する。具体的には、図1において、マイク32Aで集音された場合、発話者は乗員P1であると特定する。同様に、マイク32Bで集音された場合、発話者は乗員P2であると特定する。なお、図4に示されるように、本実施形態では、例えば乗員P1がシートバックを後傾されてリクライニング状態となった場合であっても、マイク32Aの集音範囲に入っているため、発話者を特定することができる。
乗員特定部52は、乗員Pを特定する。乗員Pを特定する方法として、種々の方法を採用し得る。例えば、図1に示されるように、車室内カメラ20で撮像された乗員Pの顔をサーバ24に蓄積された顔の画像データと照合することで乗員Pを特定してもよい。また、他の方法として、音声記録部46で記録された音声の声紋をサーバ24に蓄積された声紋データと照合することで乗員Pを特定してもよい。さらに、乗員P1〜P4がそれぞれ携帯している電話などの端末とECU22とが通信することで乗員P1〜P4を特定してもよい。この場合、端末の位置情報から乗員Pの着座している座席を把握することができる。
出力位置特定部54は、マイク32で集音された音声又は音声の発話者(乗員)からの入力により出力先の座席を特定する。覚醒状態判定部56は、車室内カメラ20及び心拍数検知部30の少なくとも一方からの信号から乗員の覚醒状態を判定する。すなわち、乗員が入眠しているか否かを判定する。
逆位相音生成部58は、マイク32で集音された音声から逆位相音を生成する。また、逆位相音生成部58は、音楽を再生する際には、再生する音楽の逆位相音を生成する。出力制御部60は、出力位置特定部54で特定された座席へスピーカ34から音を出力させる。
次に、車両用音入出力装置10による音声入出力処理の流れの一例について、図8のフローチャートを参照して説明する。CPU36がROM38又はストレージ42からプログラムを読み出して、RAM40に展開して実行することによって音声入出力処理が行われる。なお、音声入出力処置が行われる前に、乗員特定部52による乗員P1〜P4の特定が完了しているものとする。
図8に示されるように、ステップS102では、CPU36は、マイク32A〜マイク32Dによって乗員P1〜P4が発話したか否かを判断する。発話が検知された場合は、ステップS104へ移行し、発話が検知されていない場合は、発話が検知されるまで同じ処理を繰り返す。また、発話が検知された場合は、音声記録部46によって音声の記録が開始される(図7参照)。
ステップS104では、CPU36は、発話された内容、すなわち音声記録部46に記録された音声に乗員Pを特定する呼び名が含まれているか否かを判断する。具体的には、乗員特定部52で特定された乗員P1〜P4のうち、発話者を除く乗員Pの呼び名が含まれているか否かを判断する。そして、CPU36は、乗員Pを特定する呼び名が含まれている場合はステップS106へ移行し、乗員Pの呼び名が含まれていない場合はステップS108へ移行する。なお、ここでいう呼び名とは、例えば姓などである。
ステップS106では、CPU36は、出力位置特定部54によって乗員特定部52で特定された乗員Pが着座している座席14を出力先として設定する。一方、ステップS108では、CPU36は、出力位置特定部54によって発話者以外の乗員Pが着座している座席14を出力先として設定する。
ステップS110では、CPU36は、出力先の座席14に対して音声及び逆位相音を出力する。具体的には、CPU36は、出力制御部60によって、出力位置特定部54が出力先として設定した座席14に対応するスピーカ34から音声を出力する。また、CPU36は、出力制御部60によって音声を出力させると同時に、この座席14以外の各座席14に対して、対応するスピーカ34から逆位相音を出力させる。そして、CPU36は、音声入出力処理を終了させる。
以上の音声入出力処理について、図1及び図3に示される乗員P1が乗員P3へ話し掛ける場合について説明する。この場合、ステップS102では、CPU36は、マイク32Aによって乗員P1の発話を検知したと判断してステップS104へ移行する。
ステップS104では、CPU36は、乗員P1に対応するマイク32Aから集音された音声に乗員P3の呼び名が含まれている場合、ステップS106へ移行する。そして、ステップS106では、CPU36は、乗員P3が着座している後席14Cを出力先として設定し、ステップS110で出力制御部60によって後席14Cに対応するスピーカ34Cから音声を出力させる。また、CPU36は、出力制御部60によって他の座席14(助手席14B及び後席D)に対応するスピーカ34B及びスピーカ34Dから逆位相音を出力させる。
一方、ステップS104において、CPU36は、マイク32Aから集音された音声に乗員P3を特定する呼び名が含まれていない場合、ステップS108へ移行し、乗員P1を除く乗員P2〜P4が着座している座席14(助手席14B、後席14C及び後席14D)を出力先として設定する。そして、ステップS110では、スピーカ34B、スピーカ34C及びスピーカ34Dから音声を出力させる。
次に、車両用音入出力装置10による音楽再生処理の流れの一例について、図9のフローチャートを参照して説明する。CPU36がROM38又はストレージ42からプログラムを読み出して、RAM40に展開して実行することによって音楽再生処理が行われる。
図9に示されるように、ステップS202では、CPU36は、マイク32A〜マイク32Dによって乗員P1〜P4が発話したか否かを判断する。発話が検知された場合は、ステップS204へ移行し、発話が検知されていない場合は、発話が検知されるまで同じ処理を繰り返す。また、発話が検知された場合は、音声記録部46によって音声の記録が開始される(図7参照)。
ステップS204では、CPU36は、発話された内容、すなわち音声記録部46に記録された音声に特定の言葉が含まれているか否かを判断する。具体的には、音楽の再生を示す所定の言葉が含まれているか否かを判断する。例えば、「音楽」と「再生」の言葉が含まれている場合に、所定の言葉が含まれていると判断してもよい。そして、CPU36は、所定の言葉が含まれている場合はステップS206へ移行し、所定の言葉が含まれていない場合は処理を終了させる。
ステップS206では、CPU36は、出力位置特定部によって発話者の座席14を出力先に設定させてステップS208へ移行する。ステップS208では、CPU36は、出力制御部60によって発話者の座席14に対応するスピーカ34から音楽を再生させる。また、CPU36は、出力制御部60によって音楽を再生させると同時に、この座席14以外の各座席14に対して、対応するスピーカ34から逆位相音を出力させる。なお、このとき、乗員Pの好みに合わせて再生する曲を変更してもよい。
続くステップS210では、CPU36は、覚醒状態判定部56によって乗員Pが入眠しているか否かを判定する。具体的には、車室内カメラ20及び心拍数検知部30の少なくとも一方からの信号により乗員Pの入眠状態が検知された場合、乗員Pが入眠したと判定される(図5)。
CPU36は、ステップS210で乗員Pが入眠していると判定された場合、ステップS212へ移行する。乗員Pの入眠判定が否定された場合(乗員Pが入眠していない場合)、曲の再生を維持してステップS210の処理が繰り返される。
ステップS212では、CPU36は、出力制御部60による曲の再生を停止させると同時に、逆位相音の出力を停止させる。そして、CPU36は、音楽再生処理を終了させる。
(作用)
次に、本実施形態の作用を説明する。
本実施形態の車両用音入出力装置10では、図8のフローチャートのステップS106で説明したように、出力位置特定部54で出力先の座席を特定することができる。これにより、車室内の任意の乗員Pと会話をすることができる。
また、本実施形態では、乗員特定部52によって座席14に着座した乗員Pを特定することができ、発話者が会話をしたい乗員Pの呼び名を含めてマイク32へ発話することで、当該呼び名の乗員Pが着座している座席14を出力先として設定することができる。これにより、乗員Pは、会話したい相手の呼び名を含めて話すだけで、特定の乗員Pと会話をすることができる。また、呼び名を含まずに話すだけで、発話者以外の乗員Pへ話し掛けることができる。
さらに、本実施形態では、図9のフローチャートで説明したように、乗員Pが所定の言葉をマイク32に向かって発話するだけで、音楽を聴くことができる。また、音声又は音楽を出力させる座席14以外の各座席14に対して、スピーカ34から逆位相音を出力させることで、音を打ち消すことができ、他の乗員Pへ音が漏れるのを抑制することができる。
さらにまた、本実施形態では、覚醒状態判定部56を備えており、入眠している乗員Pへの音の出力を停止することで、乗員Pの入眠を妨げずに済む。
以上、実施形態について説明したが、本発明の要旨を逸脱しない範囲において、種々なる態様で実施し得ることは勿論である。例えば、上記実施形態では、図8に示される音声入出力処理のステップS110、及び図9に示される音楽再生処理のステップ208において、出力制御部60によって逆位相音を出力させたが、これに限定されない。本実施形態のようにスピーカ34が指向性を備えている場合、逆位相音を出力させなくても他の乗員Pへの音漏れを抑制することができる。ただし、音漏れを抑制する観点から、逆位相音を出力する方が好ましい。
また、上記実施形態では、図8に示される音声入出力処理において、図9の音楽再生処理と同様に、覚醒状態判定部56によって乗員Pが入眠したと判定された場合に、スピーカ34からの出力を停止させてもよい。この場合、出力先の乗員Pが入眠していることを発話者側へ伝えることで、発話者が出力先の乗員Pの状態を把握することができる。また、複数の乗員Pへ音声が出力される場合、入眠している乗員Pのスピーカ34から逆位相音を出力させるようにしてもよい。
さらに、出力制御部60は、出力先の乗員Pの聴覚能力に応じて音量を自動で調節してもよい。例えば、サーバ24に蓄積された情報から乗員Pが高齢者で聴覚能力が低いと判断された場合、出力制御部60は、標準的な音量よりも大きい音で出力してもよい。また、会話を聞き分けるのに重要となる子音の周波数帯を増強して出力してもよい。
さらにまた、上記実施形態では、出力位置特定部54は、音声記録部46に記録された音声に特定の呼び名が含まれている場合に、この呼び名の乗員が着座している座席を出力先に設定したが、これに限定されず他の方法で出力先を設定してもよい。例えば、各座席14の周辺に座席番号が記されたボタンなどを設けておき、発話者が予め手元の座席番号を押下することで、出力先を設定するようにしてもよい。すなわち、出力位置特定部54は、発話者からの入力により出力先の座席を特定する。この場合、名前を知らない乗員P同士であっても会話することが可能となる。
また、なお、上記各実施形態でCPU36がソフトウェア(プログラム)を読み込んで実行した処理を、CPU36以外の各種のプロセッサが実行してもよい。この場合のプロセッサとしては、FPGA(Field−Programmable Gate Array)等の製造後に回路構成を変更可能なPLD(Programmable Logic Device)、及びASIC(Application Specific Integrated Circuit)等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が例示される。また、上記処理を、これらの各種のプロセッサのうちの1つで実行してもよいし、同種又は異種の2つ以上のプロセッサの組み合わせ(例えば、複数のFPGA、及びCPUとFPGAとの組み合わせ等)で実行してもよい。また、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子等の回路素子を組み合わせた電気回路である。
さらに、上記各実施形態では、ストレージ42を記録部としたが、これに限定されない。例えば、CD(Compact Disk)、DVD(Digital Versatile Disk)、及びUSB(Universal Serial Bus)メモリ等の記録媒体を記録部としてもよい。
10 車両用音入出力装置
14A 運転席(座席)
14B 助手席(座席)
14C 後席(座席)
14D 後席(座席)
32A マイク
32B マイク
32C マイク
32D マイク
34A スピーカ
34B スピーカ
34C スピーカ
34D スピーカ
50 発話者特定部
52 乗員特定部
54 出力位置特定部
56 覚醒状態判定部
58 逆位相音生成部
60 出力制御部
P1 乗員
P2 乗員
P3 乗員
P4 乗員

Claims (6)

  1. 車室内に設けられたマイクと、
    車室内に設けられ、各座席に対して音を出力する複数の指向性を備えたスピーカと、
    前記マイクで集音された音声又は音声の発話者からの入力により出力先の座席を特定する出力位置特定部と、
    前記出力位置特定部で特定された座席へ前記スピーカから音を出力させる出力制御部と、
    を有する車両用音入出力装置。
  2. 座席に着座した乗員を特定する乗員特定部と、
    前記マイクで集音された音声の発話者を特定する発話者特定部と、
    を備え、
    前記出力位置特定部は、前記マイクで集音された音声に乗員を特定する呼び名が含まれている場合は、該乗員が着座している座席を出力先として設定し、前記マイクで集音された音声に前記呼び名が含まれていない場合は、発話者以外の乗員が着座している座席を出力先として設定する請求項1に記載の車両用音入出力装置。
  3. 前記出力位置特定部は、前記マイクで集音された音声に、音楽を再生する指示に対応する所定の言葉が含まれている場合には、発話者が着座している座席を出力先として設定し、
    前記出力制御部は、前記出力位置特定部で特定された座席へ前記スピーカから音楽を再生させる請求項1に記載の車両用音入出力装置。
  4. 前記スピーカから出力される音に対して逆位相となる逆位相音を生成する逆位相音生成部をさらに備え、
    前記出力制御部は、前記出力位置特定部で特定された座席に対して、該座席に対応する前記スピーカから音を出力させると同時に、該座席以外の各座席に対して、対応する前記スピーカから逆位相音を出力させる請求項1〜3の何れか1項に記載の車両用音入出力装置。
  5. 乗員の覚醒状態を判定する覚醒状態判定部をさらに備え、
    前記出力制御部は、前記覚醒状態判定部によって入眠していると判定された乗員に対して音の出力を停止する請求項1〜4の何れか1項に記載の車両用音入出力装置。
  6. 乗員の覚醒状態を判定する覚醒状態判定部をさらに備え、
    前記出力制御部は、前記覚醒状態判定部によって入眠していると判定された乗員に対して、前記逆位相音生成部で生成された逆位相音を出力させる請求項4に記載の車両用音入出力装置。
JP2018172610A 2018-09-14 2018-09-14 車両用音入出力装置 Pending JP2020044879A (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2018172610A JP2020044879A (ja) 2018-09-14 2018-09-14 車両用音入出力装置
CN201910700732.4A CN110913313A (zh) 2018-09-14 2019-07-31 车辆用声音输入输出装置
EP19197114.2A EP3623936A3 (en) 2018-09-14 2019-09-12 Sound input/output device for vehicle
US16/568,570 US10805730B2 (en) 2018-09-14 2019-09-12 Sound input/output device for vehicle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018172610A JP2020044879A (ja) 2018-09-14 2018-09-14 車両用音入出力装置

Publications (1)

Publication Number Publication Date
JP2020044879A true JP2020044879A (ja) 2020-03-26

Family

ID=67953709

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018172610A Pending JP2020044879A (ja) 2018-09-14 2018-09-14 車両用音入出力装置

Country Status (4)

Country Link
US (1) US10805730B2 (ja)
EP (1) EP3623936A3 (ja)
JP (1) JP2020044879A (ja)
CN (1) CN110913313A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022014313A (ja) * 2020-07-06 2022-01-19 三菱電機株式会社 音声出力制御装置および音声出力制御プログラム

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102592833B1 (ko) * 2018-12-14 2023-10-23 현대자동차주식회사 차량의 음성 인식 기능 연동 제어 시스템 및 방법
JP7338489B2 (ja) * 2020-01-23 2023-09-05 トヨタ自動車株式会社 音声信号制御装置、音声信号制御システム及び音声信号制御プログラム
WO2021217572A1 (zh) * 2020-04-30 2021-11-04 华为技术有限公司 车内用户定位方法、车载交互方法、车载装置及车辆
CN112078498B (zh) * 2020-09-11 2022-03-18 广州小鹏汽车科技有限公司 一种车辆智能座舱的声音输出控制方法和智能座舱
CN114374914B (zh) * 2022-03-23 2022-06-14 远峰科技股份有限公司 智能座舱域音场多音区控制方法、装置及电子设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07176178A (ja) * 1993-12-20 1995-07-14 Alpine Electron Inc 車載用オーディオ装置
JP2006044420A (ja) * 2004-08-03 2006-02-16 Denso Corp 車両機器制御装置
JP2006339975A (ja) * 2005-06-01 2006-12-14 Nissan Motor Co Ltd 秘話通話装置
JP2007208828A (ja) * 2006-02-03 2007-08-16 Denso Corp 車両用音声入出力制御装置
JP2008092322A (ja) * 2006-10-03 2008-04-17 Matsushita Electric Ind Co Ltd 通信制御装置および集積回路
US20080144855A1 (en) * 2006-11-28 2008-06-19 Wimer Arian M Vehicle communication and safety system
JP2010047093A (ja) * 2008-08-20 2010-03-04 Fujitsu Ten Ltd 音声認識処理装置および音声認識処理方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10123179A1 (de) 2001-05-12 2002-11-14 Daimler Chrysler Ag Kraftfahrzeug mit mehreren Sitzplätzen
JP4232617B2 (ja) * 2003-11-28 2009-03-04 株式会社デンソー 車室内音場制御システム
US8126159B2 (en) 2005-05-17 2012-02-28 Continental Automotive Gmbh System and method for creating personalized sound zones
US20090055180A1 (en) * 2007-08-23 2009-02-26 Coon Bradley S System and method for optimizing speech recognition in a vehicle
JP2010124435A (ja) 2008-11-21 2010-06-03 Panasonic Corp 車内会話補助装置
JP2010156825A (ja) * 2008-12-26 2010-07-15 Fujitsu Ten Ltd 音声出力装置
DE102010006303A1 (de) * 2010-01-30 2011-08-04 MAN Truck & Bus AG, 80995 Geräuschkompensationseinrichtung in einem Kraftfahrzeug
US20120321102A1 (en) * 2010-12-22 2012-12-20 Samsung Electronics Co., Ltd. Method and apparatus creating a personal sound zone
WO2014026165A2 (en) * 2012-08-10 2014-02-13 Johnson Controls Technology Company Systems and methods for vehicle cabin controlled audio
US9800983B2 (en) * 2014-07-24 2017-10-24 Magna Electronics Inc. Vehicle in cabin sound processing system
JP2016063439A (ja) 2014-09-19 2016-04-25 日産自動車株式会社 車室内会話装置
JP2017193207A (ja) 2016-04-18 2017-10-26 アイシン精機株式会社 車室内会話支援装置
KR20180102871A (ko) * 2017-03-08 2018-09-18 엘지전자 주식회사 이동단말기 및 이동단말기의 차량 제어 방법
US10481858B2 (en) * 2017-12-06 2019-11-19 Harman International Industries, Incorporated Generating personalized audio content based on mood

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07176178A (ja) * 1993-12-20 1995-07-14 Alpine Electron Inc 車載用オーディオ装置
JP2006044420A (ja) * 2004-08-03 2006-02-16 Denso Corp 車両機器制御装置
JP2006339975A (ja) * 2005-06-01 2006-12-14 Nissan Motor Co Ltd 秘話通話装置
JP2007208828A (ja) * 2006-02-03 2007-08-16 Denso Corp 車両用音声入出力制御装置
JP2008092322A (ja) * 2006-10-03 2008-04-17 Matsushita Electric Ind Co Ltd 通信制御装置および集積回路
US20080144855A1 (en) * 2006-11-28 2008-06-19 Wimer Arian M Vehicle communication and safety system
JP2010047093A (ja) * 2008-08-20 2010-03-04 Fujitsu Ten Ltd 音声認識処理装置および音声認識処理方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022014313A (ja) * 2020-07-06 2022-01-19 三菱電機株式会社 音声出力制御装置および音声出力制御プログラム
JP7407665B2 (ja) 2020-07-06 2024-01-04 三菱電機株式会社 音声出力制御装置および音声出力制御プログラム

Also Published As

Publication number Publication date
EP3623936A2 (en) 2020-03-18
EP3623936A3 (en) 2020-06-17
US20200092649A1 (en) 2020-03-19
US10805730B2 (en) 2020-10-13
CN110913313A (zh) 2020-03-24

Similar Documents

Publication Publication Date Title
JP2020044879A (ja) 車両用音入出力装置
US9672805B2 (en) Feedback cancelation for enhanced conversational communications in shared acoustic space
US7928307B2 (en) Karaoke system
US20110069845A1 (en) Selective audio/sound aspects
US9947334B2 (en) Enhanced conversational communications in shared acoustic space
JP7049803B2 (ja) 車載装置および音声出力方法
US11393444B2 (en) Noise suppressor for a vehicle and noise suppressing method for a vehicle
JP2019068237A (ja) 会話支援装置、会話支援システムおよび会話支援方法
CN105976829A (zh) 声音处理装置、声音处理方法
US10607625B2 (en) Estimating a voice signal heard by a user
WO2018061956A1 (ja) 会話アシスト装置および会話アシスト方法
US10922048B2 (en) Sound input/output device for vehicle
JP2005252597A (ja) 複数音声再生装置
JPH07176178A (ja) 車載用オーディオ装置
JP2020082955A (ja) コンテンツ再生装置
JP6887139B2 (ja) 音響処理装置、音響処理方法、およびプログラム
JP2021123195A (ja) 後席ディスプレイ装置、車載システムおよび制御方法
JP2008288628A (ja) スピーカ検出装置、チャンネル数設定装置、チャンネル数設定方法および制御プログラム
JP7474548B2 (ja) オーディオデータの再生の制御
US11689853B2 (en) Vehicle and operation method thereof
US20230108565A1 (en) Reproduction apparatus, method and program for the same
US20240121555A1 (en) Zoned Audio Duck For In Car Conversation
JP2018088641A (ja) 会話アシスト装置
JP2018056876A (ja) 会話アシスト装置
JP2023124179A (ja) オーディオシステム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210126

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20211220

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211221

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20220621