JP2022035024A - 情報処理装置、情報処理方法、及び情報処理プログラム - Google Patents

情報処理装置、情報処理方法、及び情報処理プログラム Download PDF

Info

Publication number
JP2022035024A
JP2022035024A JP2020139058A JP2020139058A JP2022035024A JP 2022035024 A JP2022035024 A JP 2022035024A JP 2020139058 A JP2020139058 A JP 2020139058A JP 2020139058 A JP2020139058 A JP 2020139058A JP 2022035024 A JP2022035024 A JP 2022035024A
Authority
JP
Japan
Prior art keywords
vehicle
mode
user
information processing
hearable device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020139058A
Other languages
English (en)
Other versions
JP7347368B2 (ja
Inventor
淳一 西田
Junichi Nishida
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2020139058A priority Critical patent/JP7347368B2/ja
Priority to US17/405,075 priority patent/US20220055666A1/en
Priority to CN202110952255.8A priority patent/CN114074620A/zh
Publication of JP2022035024A publication Critical patent/JP2022035024A/ja
Application granted granted Critical
Publication of JP7347368B2 publication Critical patent/JP7347368B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00Drive control systems specially adapted for autonomous road vehicles
    • B60W60/005Handover processes
    • B60W60/0059Estimation of the risk associated with autonomous or manual driving, e.g. situation too complex, sensor failure or driver incapacity
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095Predicting travel path or likelihood of collision
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B60R16/023Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for transmission of signals between vehicle parts or subsystems
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095Predicting travel path or likelihood of collision
    • B60W30/0953Predicting travel path or likelihood of collision the prediction being responsive to vehicle dynamic parameters
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095Predicting travel path or likelihood of collision
    • B60W30/0956Predicting travel path or likelihood of collision the prediction being responsive to traffic or environmental parameters
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001Planning or execution of driving tasks
    • B60W60/0015Planning or execution of driving tasks specially adapted for safety
    • B60W60/0016Planning or execution of driving tasks specially adapted for safety of the vehicle or its occupants
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00Drive control systems specially adapted for autonomous road vehicles
    • B60W60/005Handover processes
    • B60W60/0051Handover processes from occupants to vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00Drive control systems specially adapted for autonomous road vehicles
    • B60W60/005Handover processes
    • B60W60/0053Handover processes from vehicle to occupant
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B15/00Systems controlled by a computer
    • G05B15/02Systems controlled by a computer electric
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10KSOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K11/00Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/16Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/175Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound
    • G10K11/178Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00Details of transducers, loudspeakers or microphones
    • H04R1/10Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1041Mechanical or electronic switches, or control elements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00Details of transducers, loudspeakers or microphones
    • H04R1/10Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1083Reduction of ambient noise
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00Circuits for transducers, loudspeakers or microphones
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143Alarm means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/54Audio sensitive means, e.g. ultrasound
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00Input parameters relating to objects
    • B60W2554/40Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404Characteristics
    • B60W2554/4041Position
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00Input parameters relating to objects
    • B60W2554/80Spatial relation or speed relative to objects
    • B60W2554/805Azimuth angle
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2460/00Details of hearing devices, i.e. of ear- or headphones covered by H04R1/10 or H04R5/033 but not provided for in any of their subgroups, or of hearing aids covered by H04R25/00 but not provided for in any of its subgroups
    • H04R2460/01Hearing devices using active noise cancellation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10General applications
    • H04R2499/13Acoustic transducers and sound field adaptation in vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Emergency Alarm Devices (AREA)
  • Alarm Systems (AREA)
  • Headphones And Earphones (AREA)
  • Soundproofing, Sound Blocking, And Sound Damping (AREA)
  • Traffic Control Systems (AREA)
  • Telephonic Communication Services (AREA)

Abstract

【課題】ヒアラブルデバイスを装着したユーザが車両に乗車する際の利便性を好適に高めることができる技術を提供する。【解決手段】本開示に係る情報処理装置では、制御部が、ヒアラブルデバイスを装着したユーザが乗車している車両の運転モードを取得する。そして、車両の運転モードが自動運転モードである場合は、制御部は、ヒアラブルデバイスの動作モードが第一のモードに設定されることを許容する。一方、車両の運転モードが手動運転モードである場合は、ヒアラブルデバイスを装着しているユーザが車両の運転操作を行うユーザであれば、制御部が、ヒアラブルデバイスの動作モードを第二のモードに設定する。【選択図】図4

Description

本開示は、情報処理装置、情報処理方法、及び情報提供プログラムに関する。
外部の音を聞こえ難くするモード(ノイズキャンセリングモード)と外部の音を聞こえ易くするモード(アンビエントモード)とを切り替え可能なヒアラブルデバイスが知られている。また、斯様なヒアラブルデバイスを装着したユーザが車両の運転席に着座した場合又は車両の起動操作を行った場合に、ヒアラブルデバイスの動作モードをアンビエントモードに設定する技術も提案されている(例えば、特許文献1を参照。)。
特開2019-206211号公報
本開示の目的は、ヒアラブルデバイスを装着したユーザが車両に乗車する際の利便性を可能な限り高めることができる技術を提供することにある。
本開示は、外部の音を聞こえ難くする動作モードである第一のモードと、外部の音を聞こえ易くする動作モードである第二のモードとを、切り替え可能なヒアラブルデバイスを制御するための情報処理装置として捉えることができる。
その場合の情報処理装置は、例えば、
前記ヒアラブルデバイスを装着したユーザが乗車している車両の運転モードを取得することと、
前記車両の運転モードが自動運転モードである場合に、前記ヒアラブルデバイスの動作モードが前記第一のモードに設定されることを許容することと、
前記車両の運転モードが手動運転モードである場合に、前記ユーザが前記車両の運転操作を行うユーザであれば、前記ヒアラブルデバイスの動作モードを前記第二のモードに設定することと、
を実行する制御部を備えるようにしてもよい。
また、本開示は、外部の音を聞こえ難くする動作モードである第一のモードと、外部の音を聞こえ易くする動作モードである第二のモードとを、切り替え可能なヒアラブルデバイスを制御するための情報処理方法として捉えることもできる。
その場合の情報処理方法は、例えば、
前記ヒアラブルデバイスを装着したユーザが乗車している車両の運転モードを取得するステップと、
前記車両の運転モードが自動運転モードである場合に、前記ヒアラブルデバイスの動作モードが前記第一のモードに設定されることを許容するステップと、
前記車両の運転モードが手動運転モードである場合に、前記ユーザが前記車両の運転操作を行うユーザであれば、前記ヒアラブルデバイスの動作モードを前記第二のモードに設定するステップと、
をコンピュータが実行するようにしてもよい。
ここで、本開示は、上記情報処理方法を実現するための情報処理プログラム若しくは該
情報処理プログラムを格納した非一時的記憶媒体として捉えることもできる。
本開示によれば、ヒアラブルデバイスを装着したユーザが車両に乗車する際の利便性を可能な限り高めることができる技術を提供することができる。
デバイス制御システムの概要を示す第一の図である。 デバイス制御システムの概要を示す第二の図である。 デバイス制御システムに含まれる車載装置及びヒアラブルデバイスの構成の一例を概略的に示したブロック図である。 実施形態における車載装置で行われる処理フローを示すフローチャートである。 変形例1における車載装置で行われる処理フローを示すフローチャートである。 警告指令の一例を概略的に示した図である。
本開示は、外部の音を聞こえ難くする第一のモード(ノイズキャンセリングモード)と、外部の音を聞こえ易くする第二のモード(アンビエントモード)とを、切り替え可能なヒアラブルデバイスを制御するための情報処理装置に適用される。斯様な情報処理装置は、車両に搭載されてもよく、又はヒアラブルデバイスに搭載されてもよい。
近年、音楽鑑賞及び音声通話等に加え、自動翻訳(機械翻訳)及びインターネット上の情報検索等の情報提供サービスに、ヒアラブルデバイスを活用する技術の開発が進められている。これにより、ユーザがヒアラブルデバイスを装着した状態で車両に乗車する機会が増えると予想される。その際、車両の安全性を担保するという観点に立つと、外部の音をユーザに聞こえ易くすることが望まれる。
これに対し、ユーザが車両の運転席に着座した場合又は車両の起動操作を行った場合等に、該ユーザが車両の運転操作を行うと推定し、該ユーザに装着されているヒアラブルデバイスの動作モードを自動的に第二のモードに設定する方法が考えられる。ところで、車両の運転席に着座したユーザ又は車両の起動操作を行ったユーザが当該車両の運転操作を行うとは限らない。例えば、車両が自動運転モードで走行する条件下においては、運転席に着座したユーザ又は車両の起動操作を行ったユーザであっても、当該車両の運転操作を行わないことになる。斯様な場合に、当該ユーザの装着しているヒアラブルデバイスが自動的に第二のモードに設定されてしまうと、当該ユーザの利便性が損なわれる可能性がある。
これに対し、本開示に係る情報処理装置では、制御部が、ヒアラブルデバイスを装着したユーザが乗車している車両の運転モードを取得する。ここでいう「運転モード」は、車両が自動運転で自律的に走行する自動運転モードと、車両がユーザの手動操作に従って走行する手動運転モードと、の二つの運転モードを少なくとも含む。手動運転モードは、車両を走行させる上で必要となる運転操作の一部又は全部がユーザの手動操作によって行われる運転モードである。すなわち、車両を走行させる上で必要となる運転操作の少なくとも一部がユーザの手動操作によって行われ、残りの運転操作が車両によって自動的に行われる運転モードも、ここでいう「手動運転モード」に含まれるものとする。
ここで、取得された運転モードが自動運転モードである場合は、制御部は、ヒアラブルデバイスの動作モードが第一のモードに設定されることを許容する。ここでいう「許容」
の対象は、ヒアラブルデバイスの動作モードが自動的に第一のモードに設定される態様、及びヒアラブルデバイスの動作モードがユーザの手動操作によって第一のモードに設定される態様を含む。これにより、ヒアラブルデバイスを装着したユーザが車両の運転席に着座している場合であっても、車両の運転モードが自動運転モードであれば、当該ユーザがヒアラブルデバイスを第一のモードで利用することができる。一方、取得された運転モードが手動運転モードである場合に、ユーザが車両の運転操作を行うユーザであれば、制御部は、ヒアラブルデバイスの動作モードを第二のモードに設定する。これにより、車両の運転モードが手動運転モードであり、且つヒアラブルデバイスを装着したユーザが車両の運転操作を行うユーザであれば、当該ユーザがヒアラブルデバイスを第一のモードで利用することが抑制される。よって、本開示によれば、車両の運転モードに応じて、ヒアラブルデバイスにおける第一のモードの使用を許容又は抑制することが可能になる。その結果、ヒアラブルデバイスを装着したユーザが車両に乗車する際の利便性を可能な限り高めることができる。
ここで、車両の運転モードが手動運転モードである場合に、ヒアラブルデバイスを装着しているユーザが該車両の運転操作を行わないユーザであれば、制御部は、ヒアラブルデバイスの動作モードが第一のモードに設定されることを許容してもよい。これにより、車両の運転モードが手動運転モードである場合であっても、当該車両の運転操作を行わないユーザであれば、ヒアラブルデバイスを第一のモードで使用することができる。
なお、所定の緊急事態が検知された場合に、制御部は、ヒアラブルデバイスの動作モードを第二のモードに設定してもよい。これにより、自動運転モードで走行する車両に乗車しているユーザであっても、所定の緊急事態が検知された際には、該ユーザに装着されているヒアラブルデバイスの動作モードが自動的に第二のモードに設定される。さらに、手動運転モードで走行する車両に乗車しているユーザであって且つ車両の運転操作を行わないユーザであっても、所定の緊急事態が検知された際には、該ユーザに装着されているヒアラブルデバイスの動作モードが自動的に第二のモードに設定される。これにより、所定の緊急事態が検知された場合は、ヒアラブルデバイスを装着した状態で車両に乗車しているユーザが、外部の音等をより確実に聞き取ることが可能になる。その結果、ヒアラブルデバイスを装着しているユーザが、所定の緊急事態を速やかに把握し易くなる。なお、ここでいう「所定の緊急事態」とは、車両に乗車しているユーザに対する注意喚起が必要な事態であり、例えば、以下のような事態である。
(事態1)当該車両に他の移動体が接近する事態
(事態2)当該車両と対象物とが衝突する事態
(事態3)当該車両が異常挙動(スリップ、又は蛇行等)を起こす事態
(事態4)当該車両に搭載される通報装置が緊急通報を行う事態
(事態5)当該車両の運転操作を行っているユーザに異常が発生する事態
本開示における所定の緊急事態は、上記したような事態に限定されるものではなく、災害等が発生した事態、又は災害等の発生可能性が生じた事態等でもよい。
上記したような所定の緊急事態が検知された場合に、制御部は、ヒアラブルデバイスからアラートを放音させるようにしてもよい。これにより、ヒアラブルデバイスを装着しているユーザに対し、所定の緊急事態が発生したことをより確実に認識させることができる。また、所定の緊急事態の発生に起因して車両に備え付けのスピーカ等の機器が故障した場合であっても、アラートをユーザに伝えることが可能になる。
ここで、本開示におけるヒアラブルデバイスは、ユーザの両耳の各々に対して放音するための一対の放音ユニットを含んで構成されてもよい。そして、当該車両の右側に他の移動体が接近する事態が検知された場合は、制御部は、一対の放音ユニットのうち、当該車両の左右方向における右側に位置する放音ユニットからアラートを放音させてもよい。ま
た、当該車両の左側に他の移動体が接近する事態が検知された場合は、制御部は、一対の放音ユニットのうち、当該車両の左右方向における左側に位置する放音ユニットからアラートを放音させてもよい。これにより、ヒアラブルデバイスを装着しているユーザは、他の移動体が接近してくる方向を直感的に把握することができる。
ここで、当該車両に搭載される通報装置が緊急通報を行う事態が検知された場合のアラートには、緊急通報の通報先との通話が含まれてもよい。これにより、ヒアラブルデバイスを装着しているユーザは、緊急通報の通報先との通話を聞いたり、又は通報先のオペレター等と通話したりすることができる。
また、当該車両に乗車しているユーザが発話したときに、該ユーザとは異なる他のユーザが当該車両に乗車していれば、制御部は、他のユーザに装着されているヒアラブルデバイスの動作モードを、第二のモードに設定してもよい。これにより、他のユーザは、発話したユーザの発話内容を聞き取りやすくなる。
<実施形態>
以下、本開示の具体的な実施形態について図面に基づいて説明する。本実施例に記載されている構成部品の寸法、材質、形状、その相対配置等は、特に記載がない限りは開示の技術的範囲をそれらのみに限定する趣旨のものではない。
本実施形態では、車両に乗車しているユーザのヒアラブルデバイスを制御するためのシステム(以下、「デバイス制御システム」と記す場合もある。)に、本開示を適用する例について述べる。
(デバイス制御システムの概要)
図1及び図2は、デバイス制御システムの概要を示す図である。本実施形態におけるデバイス制御システムは、車両10に搭載される車載装置100と、車両10に乗車するユーザが装着するヒアラブルデバイス200と、を含む。車載装置100とヒアラブルデバイス200とは、例えば、近距離通信等を利用して通信を行う。なお、図1及び図2に示す例では、ヒアラブルデバイス200が一つのみ図示されているが、複数のユーザがヒアラブルデバイス200を装着した状態で車両10に乗車する場合は、複数でもよい。
車両10は、自動運転で自律的に走行する運転モード(自動運転モード)と、ユーザの手動操作に従って走行する運転モード(手動運転モード)と、を切り替え可能な車両である。ここでいう「手動運転モード」は、車両10を走行させる上で必要となる運転操作の一部又は全部がユーザの手動操作によって行われる運転モードである。すなわち、手動運転モードには、車両を走行させる上で必要となる運転操作の少なくとも一部がユーザの手動操作によって行われ、残りの運転操作が車両によって自動的に行われる運転モードも含まれる。なお、自動運転モードと手動運転モードとの切り替えは、ユーザによって任意に行われてもよく、又は車両10によって自動的に行われてもよい。斯様な車両10には、制御装置VCU(Vehicle Control Unit)が搭載される。制御装置VCUは、車両10に搭載される各種センサの検出信号及び運転モード等に基づいて、車両10の駆動システム等を制御する。また、制御装置VCUは、各種センサの検出信号に基づいて、ユーザに対する各種警報を出力したり、又は車両10と対象物との衝突を回避するための制御を行ったりする機能も有する。
車載装置100は、本開示に係る「情報処理装置」に相当する。車載装置100は、制御装置VCUから様々な情報を取得し、取得された情報に基づいてヒアラブルデバイス200を制御する。本例では、車載装置100は、制御装置VCUから運転モードに関する情報を取得し、取得された運転モードに応じてヒアラブルデバイス200の動作モードを
制御する。ヒアラブルデバイス200の動作モードを制御する方法については、後述する。
ヒアラブルデバイス200は、図2に示すように、ユーザの右耳に装着される第一放音ユニット200Rと、ユーザの左耳に装着される第二放音ユニット200Lと、を含んで構成される。ヒアラブルデバイス200は、第一放音ユニット200R及び第二放音ユニット200Lを介して、様々な音声コンテンツをユーザに提供する。また、本例におけるヒアラブルデバイス200は、その動作モードを第一のモードと第二のモードとの何れかに切り替え可能に構成される。第一のモードは、外部の音をユーザの耳に聞こえ難くする動作モード(所謂、ノイズキャンセリングモード)である。第二のモードは、外部の音をユーザの耳に聞こえ易くする動作モード(所謂、アンビエントモード)である。これらの動作モードの切り替えは、基本的に、ユーザの任意によって行われる。ただし、ユーザが車両10に乗車しているときは、車載装置100からの指令に応じて動作モードの切り替えが管理される。
(システム構成)
ここで、本実施形態におけるデバイス制御システムの構成について、図3に基づいて説明する。図3は、図1及び図2に示した車載装置100及びヒアラブルデバイス200の構成の一例を概略的に示したブロック図である。
(車載装置100)
車載装置100は、前述したように、車両10の運動モード等に基づいて、ヒアラブルデバイス200の動作モードを制御する情報処理装置である。斯様な車載装置100は、小型のコンピュータにより構成することができる。例えば、車載装置100は、プロセッサ(CPU、又はGPU等)と、主記憶装置(RAM、又はROM等)と、補助記憶装置(EPROM、ハードディスクドライブ、又はリムーバブルメディア等)と、を含んで構成される。なお、リムーバブルメディアは、例えば、USBメモリ、CD、又はDVD等の記録媒体でもよい。補助記憶装置には、オペレーティングシステム(OS)、各種プログラム、及び各種テーブル等が格納される。そして、プロセッサが補助記憶装置に格納されたプログラムを実行することで、後述するような、所定の目的に合致した各機能を実現する。なお、車載装置100の一部又は全部の機能は、ASIC又はFPGA等のハードウェア回路で実現されてもよい。
本例における車載装置100は、図3に示すように、通信部101、制御部102、記憶部103、及びカメラ104等を有して構成される。なお、車載装置100の構成は、図3に示す例に限られず、適宜構成要素の省略、置換、追加が行われてもよい。
通信部101は、外部の機器と無線通信を行う機器を含んで構成される。本例における通信部101は、所定の無線通信規格を用いて、制御装置VCU又は車両10の室内に存在するヒアラブルデバイス200との間で近距離無線通信を行う。近距離無線通信は、例えば、Bluetooth(登録商標)LowEnergy規格(以下、BLE)で行われてもよい。また、近距離無線通信は、NFC(Near Field Communication)、UWB(Ultra Wideband)、又はWi-Fi(登録商標)等を利用して行われてもよい。なお、通信部101は、低周波(Low Frequency、以下、LFと称する)帯の電波等を用いたポー
リング信号を送信することで、車両10の室内に存在するヒアラブルデバイス200を探索する機能を有するように構成されてもよい。その際、複数の座席が車両10に装備されていれば、座席別にポーリング信号を送信することで、座席毎にヒアラブルデバイス200を探索してもよい。
制御部102は、CPU等のプロセッサにより構成され、車載装置100の制御を司る
。本例における制御部102は、検出部1021、取得部1022、及び生成部1023等の機能モジュールを有する。これらの機能モジュールは、記憶部103に格納されているプログラムをプロセッサが実行することで実現される。
検出部1021は、ヒアラブルデバイス200を装着した状態で車両10に乗車しているユーザ(以下、「対象ユーザ」と記す場合もある。)を検出する。例えば、検出部1021は、後述するカメラ104で撮影された画像を解析することで、対象ユーザを検出してもよい。別法として、検出部1021は、通信部101からポーリング信号を送信させることで、ヒアラブルデバイス200を探索し、ヒアラブルデバイス200が検出されたことをもって対象ユーザが車両10に乗車していると推定してもよい。上記したような種々の方法によって対象ユーザが検出された場合は、対象ユーザの座席位置に関する情報が検出部1021から取得部1022へ渡される。対象ユーザの座席位置は、カメラ104によって撮影された画像を解析することで特定される。なお、ポーリング信号を用いて対象ユーザを検出する方法においては、座席別に送信されたポーリング信号の各々に対する応答の有無に基づいて、対象ユーザの座席位置が特定されてもよい。
上記したような検出部1021による対象ユーザの検出処理は、車両10が起動された状態(イグニションスイッチ又はパワースイッチ等がオンの状態)にあるときに、所定の周期で繰り返し実行される。
取得部1022は、通信部101を介して制御装置VCUと通信することで、現時点における車両10の運動モードを取得する。取得部1022による運転モードの取得処理は、検出部1021によって対象ユーザが検出されたことをトリガにして行われる。また、車両10の運転モードは、ユーザが任意のタイミングで切り替える可能性もあるため、そのような切り替えが行われた場合にも、取得部1022による運転モードの取得処理が実行されてもよい。すなわち、ユーザによる運転モードの切り替えが行われた場合には、その都度、制御装置VCUから車載装置100へ運転モードの通知が行われてもよい。斯様な場合、取得部1022による運転モードの取得をトリガにして、検出部1021による検出処理が行われてもよい。取得部1022によって取得された運転モードに関する情報は、検出部1021から受け取った情報とともに、生成部1023へ渡される。
生成部1023は、取得部1022から受け取った情報に基づいて、モード設定指令を生成する。具体的には、生成部1023は、先ず、取得部1022により取得された運転モードが自動運転モードであるか又は手動運転モードであるかを判定する。取得部1022により取得された運転モードが手動運転モードである場合は、生成部1023は、対象ユーザの座席位置が運転席であるかを判定する。その際、対象ユーザの座席位置が運転席であれば、当該対象ユーザが車両10の運転操作を行うユーザであると判定される。よって、生成部1023は、当該対象ユーザが装着しているヒアラブルデバイス200の動作モードを第二のモードに設定するための指令(モード設定指令)を生成する。そして、生成部1023は、生成されたモード設定指令を、通信部101を介してヒアラブルデバイス200へ送信する。
また、複数の対象ユーザが車両10に乗車している場合は、生成部1023は、それらの対象ユーザの中に運転席に着座している対象ユーザが含まれているかを判定する。複数の対象ユーザの中に運転席に着座している対象ユーザが含まれている場合は、生成部1023は、上記と同様に、モード設定指令を生成する。そして、生成部1023は、生成されたモード設定指令を、通信部101を介して運転席に着座している対象ユーザのヒアラブルデバイス200へ送信する。
なお、モード設定指令の送信処理が行われた後に、車両10の駆動システムが停止(例
えば、イグニッションスイッチ又はパワースイッチ等がオフ)されると、生成部1023は、許可信号をヒアラブルデバイス200へ送信してもよい。ここでいう「許可信号」は、対象ユーザによる動作モードの切り替えを許可するための信号である。
また、取得部1022によって取得された運転モードが自動運転モードである場合、取得部1022によって取得された運転モードが手動運転モードであり且つ対象ユーザの座席位置が運転席以外である場合、及び取得部1022によって取得された運転モードが手動運転モードであり且つ複数の対象ユーザの中に運転席に着座している対象ユーザがいない場合は、生成部1023は、上記したモード設定指令を生成しない。これにより、対象ユーザのヒアラブルデバイス200には、モード設定指令が送信されない。
記憶部103は、各種の情報を記憶する。記憶部103は、例えば、RAM、磁気ディスク、又はフラッシュメモリ等の記憶媒体により構成される。記憶部103には、プロセッサにより実行される各種プログラム、及び各種データ等が記憶される。
カメラ104は、車両10の室内を撮影する。斯様なカメラ104としては、車両10に既設のダッシュボードカメラ(ダッシュカム)等を利用してもよく、又は専用のカメラを利用してもよい。
上記したように構成される車載装置100で実行される一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。
(ヒアラブルデバイス200)
次に、ヒアラブルデバイス200について説明する。ヒアラブルデバイス200は、ユーザが装着可能なウェアラブルコンピュータであり、前述の図2に示したように、ユーザの耳に装着される。
本例におけるヒアラブルデバイス200は、図3に示すように、通信部201、制御部202、放音部203、収音部204、及びスイッチ部205を含んで構成される。ヒアラブルデバイス200の構成は、図3に示す例に限られず、適宜構成要素の省略、置換、追加が行われてもよい。
通信部201は、ヒアラブルデバイス200をネットワークに接続するための無線通信インタフェースである。通信部201は、例えば、5G若しくはLTE等の移動体通信サービス、又はWi-Fi(登録商標)等の無線通信網を利用してネットワークへ接続し、ネットワークを通じて外部機器との通信を行う。ここでいう「外部機器」とは、ユーザの希望する音声コンテンツを、ネットワークを介してヒアラブルデバイス200へ提供するための機器である。なお、外部機器から提供される音声コンテンツとしては、例えば、音楽データ、機械翻訳された音声データ、又はインターネット等を利用した情報検索の結果を示す音声データ等である。
また、本例における通信部201は、車載装置100の通信部101と同様の無線通信規格を利用して、車載装置100と通信する機能も有する。さらに、通信部201は、車載装置100からのポーリング信号を受信したときに、高周波(Radio Frequency、以下
、RFと称する。)帯の電波を利用して、上記ポーリング信号に応答する機能を有するように構成されてもよい。また、その際の応答信号には、ヒアラブルデバイス200を識別するための情報が含まれてもよい。
制御部202は、例えば、マイクロコンピュータによって構成され、ヒアラブルデバイス200の制御を司る。例えば、制御部202は、ヒアラブルデバイス200の動作モー
ドに応じて、後述の放音部203及び収音部204を制御する。
ここで、ヒアラブルデバイス200の動作モードが第一のモードに設定される場合は、制御部202は、収音部204で外部の音を収音させ、収音された音と逆位相の音(以下、「相殺音」と記す場合もある。)を生成する。そして、制御部202は、ユーザの希望する音声コンテンツを放音部203から放音させるとともに、上記で生成された相殺音を放音部203から放音させる。これにより、ユーザに対し、外部の音を聞こえ難くすることができる。その結果、ユーザは、音声コンテンツの音を、より一層聞き取り易くなる。
また、ヒアラブルデバイス200の動作モードが第二のモードに設定される場合は、制御部202は、収音部204で収音された外部の音と音声コンテンツとを放音部203から放音させる。これにより、ユーザに対し、外部の音を聞こえ易くすることができる。その結果、音声コンテンツの音がユーザによって聞き取り難くなる可能性があるものの、外部の音をユーザに聞かせることができる。
なお、第一のモード及び第二のモードを実現する方法は、上記した方法に限られず、既知の他の方法を用いることもできる。例えば、第一のモードでは、フィルタ回路を利用して外部の音を低減し、第二モードでは、フィルタ回路を無効にする方法を用いてもよい。
第一のモードと第二のモードとの切り替えは、後述のスイッチ部205をユーザが操作することで行われる。ただし、前述したモード設定指令を通信部201が受信した場合に、制御部202は、ユーザによるスイッチ部205の操作にかかわらず、ヒアラブルデバイス200の動作モードを第二のモードに設定する。これにより、当該ヒアラブルデバイス200を装着するユーザが前述した対象ユーザに相当し且つ車両10の運転操作を行うユーザである場合には、当該ヒアラブルデバイス200の動作モードが自動的に第二のモードに設定される。そして、制御部202は、前述した許可信号を車載装置100から受信するまでは、ユーザの操作による動作モードの切り替えを制限する。これにより、通信部201がモード設定指令を受信してから許可信号を受信するまでの期間は、ヒアラブルデバイス200の動作モードが第二のモードに設定され続けることになる。
放音部203は、第一放音ユニット200Rに設けられる第一放音部203Rと、第二放音ユニット200Lに設けられる第二放音部203Lと、を含んで構成される。第一放音部203Rと第二放音部203Lとの各々から放音される音声は、音声コンテンツの属性(例えば、ステレオ音源、又はモノラル音源等)等に応じて決定される。
収音部204は、外部の音(ヒアラブルデバイス200の周囲の音)を収音する。典型的には、収音部204は、マイクロフォン等で構成される。収音部204によって収音された外部の音は、前述したように、相殺音の生成、又は放音部203からの放音に利用される。
スイッチ部205は、ヒアラブルデバイス200の動作モードを切り替えるための機器である。スイッチ部205は、例えば、第一放音ユニット200Rおよびまたは第二放音ユニット200Lに設置されるボタン又はタッチセンサ等で構成される。そして、斯様なボタン又はタッチセンサがユーザによって操作されると、その操作信号がスイッチ部205から制御部202へ通知されることで、制御部202による動作モードの切り替えが行われる。
(処理の流れ)
次に、本実施形態における車載装置100で行われる処理の流れについて、図4に基づいて説明する。図4は、車両10が起動された状態にあるときに、車載装置100におい
て所定の周期で繰り返し実行される処理フローを示すフローチャートである。
図4の処理フローでは、車載装置100の検出部1021が、対象ユーザを検出するための処理(検出処理)を実行する(ステップS101)。具体的には、検出部1021は、カメラ104によって撮影された室内の画像を解析することで、ヒアラブルデバイス200を装着した状態で乗車しているユーザ(対象ユーザ)の有無を検出する。なお、検出部1021は、前述したように、通信部101から座席別のポーリング信号を送信させることで、室内に存在するヒアラブルデバイス200の有無を探索してもよい。
ここで、上記した画像解析によって対象ユーザが検出されない場合、又は上記したポーリング信号を用いた探索によってヒアラブルデバイス200が検出されない場合は、対象ユーザが車両10に乗車していないと判定される(ステップS102で否定判定)。その場合、本処理フローの実行が一旦終了される。一方、上記した画像解析によって対象ユーザが検出された場合、又は上記したポーリング信号を用いた探索によってヒアラブルデバイス200が検出された場合は、対象ユーザが車両10に乗車していると判定される(ステップS102で肯定判定)。その場合、対象ユーザの座席位置に関する情報が、検出部1021から取得部1022へ渡される。対象ユーザの座席位置は、カメラ104によって撮影された画像を解析することで特定されてもよい。また、座席別に送信されたポーリング信号の各々に対する応答の有無に基づいて、対象ユーザの座席位置が特定されてもよい。
取得部1022は、通信部101を介して制御装置VCUと通信することで、現時点における車両10の運転モードを取得する(ステップS103)。取得部1022によって取得された運転モードに関する情報は、検出部1021から取得部1022へ渡された情報とともに、生成部1023へ渡される。
生成部1023は、取得部1022によって取得された運転モードが手動運転モードであるかを判定する(ステップS104)。その際、取得部1022によって取得された運転モードが自動運転モードであれば(ステップS104で否定判定)、本処理フローの実行が一旦終了される。その際、車両10が起動されてから現時点までの期間に、ヒアラブルデバイス200に対するモード設定指令の送信処理が既に行われていれば、生成部1023は、前述した許可信号を、通信部101を通じてヒアラブルデバイス200へ送信してもよい。これにより、車両10の運転モードが手動運転モードから自動運転モードへ切り替えられた場合等に、ヒアラブルデバイス200の動作モードが対象ユーザによって第二のモードから第一のモードへ切り替えられることが許容されるようになる。その結果、車両10の運転モードが自動運転モードである場合は、たとえ対象ユーザの座席位置が運転席であっても、当該対象ユーザが外部の音に煩わしさを覚えることなく、音声コンテンツを聞くことが可能になる。一方、取得部1022によって取得された運転モードが手動運転モードであれば(ステップS104で肯定判定)、ステップS105の処理が実行される。
ステップS105では、生成部1023が、対象ユーザが車両10の運転操作を行うユーザ(運転ユーザ)であるかを判定する。斯様な判定は、検出部1021によって特定された対象ユーザの座席位置に基づいて行われる。つまり、生成部1023は、対象ユーザの座席位置が運転席であるかを判定する。対象ユーザの座席位置が運転席以外であれば、対象ユーザが運転ユーザではないと判定される(ステップS105で否定判定)。その場合、本処理フローの実行が一旦終了される。これにより、車両10の運転モードが手動運転モードであっても、対象ユーザが運転ユーザではなければ、ヒアラブルデバイス200の動作モードが対象ユーザの操作によって第一のモードに設定されることが許容される。その結果、対象ユーザは、外部の音に煩わしさを覚えることなく、音声コンテンツを聞く
ことが可能になる。一方、対象ユーザの座席位置が運転席であれば、対象ユーザが運転ユーザであると判定される(ステップS105で肯定判定)。その場合、ステップS106の処理が実行される。
ステップS106では、生成部1023が、モード設定指令を生成する。モード設定指令は、前述したように、対象ユーザが装着しているヒアラブルデバイス200の動作モードを第二のモードに設定するための指令である。生成部1023によって生成されたモード設定指令は、通信部101を通じて、対象ユーザのヒアラブルデバイス200へ送信される(ステップS107)。その場合、対象ユーザのヒアラブルデバイス200では、制御部202が、ヒアラブルデバイス200の動作モードを第二のモードに設定する。これにより、車両10の運転モードが手動運転モードであり且つ対象ユーザが運転ユーザである場合には、ヒアラブルデバイス200の動作モードが自動的に第二のモードに設定される。そして、制御部202は、前述した許可信号を車載装置100から受信するまでは、ユーザの操作による動作モードの切り替えを制限する。これにより、通信部201がモード設定指令を受信してから許可信号を受信するまでの期間では、対象ユーザによるスイッチ部205の操作にかかわらず、ヒアラブルデバイス200の動作モードが第二のモードに設定され続けることになる。その結果、対象ユーザが車両10の運転操作を行う場合には、外部の音を対象ユーザに聞かせることができる。
図4の処理フローによれば、対象ユーザの座席位置が運転席であっても、車両10の運転モードが自動運転モードであれば、ヒアラブルデバイス200の動作モードが対象ユーザの操作によって第一のモードに設定されることが許容される。また、車両10の運転モードが手動運転モードであっても、対象ユーザの座席位置が運転席以外であれば、ヒアラブルデバイス200の動作モードが対象ユーザの操作によって第一のモードに設定されることが許容される。ただし、車両10の運転モードが手動運転モードであり且つ対象ユーザの座席位置が運転席である場合には、ヒアラブルデバイス200の動作モードが第二のモードのみに制限される。
従って、本実施形態によれば、車両10の運転モードに応じて、ヒアラブルデバイス200における第一のモードの使用を許容又は制限することが可能になる。その結果、ヒアラブルデバイス200を装着したユーザが車両10に乗車する際の利便性を可能な限り高めることができる。
<変形例1>
前述した実施形態では、車両10の運転モードが自動運転モードである場合、及び車両10の運転モードが手動運転モードであり且つ対象ユーザの座席位置が運転席以外である場合には、ヒアラブルデバイス200の動作モードが対象ユーザの操作によって第一のモードに設定されることが許容される例について述べた。これに対し、本変形例では、それらの場合であっても、所定の緊急事態が発生した際には、ヒアラブルデバイス200の動作モードが自動的に第二のモードに設定される例について述べる。
ここで、車両10に対する他の移動体(例えば、他の車両、又は歩行者等)の接近が検知されると、制御装置VCUが、車両10に備え付けのスピーカ等を通じて、乗員に対するアラートを行う場合がある。斯様な場合に、乗員の中に対象ユーザが含まれており且つ当該対象ユーザのヒアラブルデバイス200が第一のモードに設定されていると、対象ユーザがアラートを聞き逃してしまう可能性がある。
また、車両10が対象物(例えば、他の移動体、又は構造物等)と衝突(例えば、エアバッグシステムが作動)すると、制御装置VCUが、乗員に対するアラートを行ったり、又は自動的に緊急通報を行ったりする場合がある。斯様な場合に、乗員の中に対象ユーザ
が含まれており且つ当該対象ユーザのヒアラブルデバイス200が第一のモードに設定されていると、対象ユーザがアラートを聞き逃したり、又は通報先のオペレター等と速やかに会話を開始することができなくなったりする可能性がある。
また、車両10が走行レーンから逸脱したり、車両10がスリップしたり、又は車両10が蛇行したり等の異常挙動を起こすと、制御装置VCUが、乗員に対するアラートを行う場合がある。斯様な場合に、乗員の中に対象ユーザが含まれており且つ当該対象ユーザのヒアラブルデバイス200が第一のモードに設定されていると、対象ユーザがアラートを聞き逃してしまう可能性がある。
また、車両10の運転操作を行っているユーザ(運転ユーザ)に異常が発生すると、制御装置VCUが、同乗しているユーザ(同乗ユーザ)に対するアラートを行う場合がある。斯様な場合に、同乗ユーザの中に対象ユーザが含まれており且つ当該対象ユーザのヒアラブルデバイス200が第一のモードに設定されていると、対象ユーザがアラートを聞き逃してしまう可能性がある。
よって、上記したような様々な緊急事態(所定の緊急事態)が検知された場合には、ヒアラブルデバイス200を装着しているユーザに対し、緊急事態の発生をより確実に認識させるための手立てが必要となる。そこで、本変形例では、所定の緊急事態が発生した場合に、ヒアラブルデバイス200が自動的に第二のモードに設定されるとともに、ヒアラブルデバイス200からアラートが放音されるようにした。なお、所定の緊急事態は、上記で例示した事態に限定されるものではなく、車両10の進路上で災害が発生又は近々に発生する可能性が生じた事態でもよい。
(処理の流れ)
ここで、本変形例における車載装置100で行われる処理の流れについて、図5に基づいて説明する。図5は、制御装置VCUによって所定の緊急事態が検知されたことをトリガにして、車載装置100で実行される割り込み処理の流れを示すフローチャートである。
図5の処理フローでは、車両10の制御部が所定の緊急事態を検知した際に、当該所定の緊急事態に関する情報(緊急情報)が、車両10の制御部から車載装置100へ送信される。斯様な緊急情報が車載装置100の通信部101で受信されると(ステップS201)、当該緊急情報が通信部101から生成部1023へ渡される。
生成部1023は、緊急情報に基づいて、アラートを生成する(ステップS202)。例えば、緊急情報が車両10に対する他の移動体の接近を示す情報である場合は、他の移動体の接近を対象ユーザに知らせるための音声データを、アラートとして生成する。また、緊急情報が車両10と対象物との衝突を示す情報である場合は、車両10が衝突したことを対象ユーザに知らせるための音声データを、アラートとして生成する。その際、制御装置VCUによる緊急通報が行われていれば、通報先のオペレターとの音声通話をアラートに含めてもよい。また、緊急情報が車両10の異常挙動を示す情報である場合は、車両10が異常挙動を起こしていることを対象ユーザに知らせるための音声データを、アラートとして生成する。また、緊急情報が運転ユーザの異常を示す情報である場合は、運転ユーザに異常が発生していることを対象ユーザに知らせるための音声データを、アラートとして生成する。
生成部1023は、警告指令を生成する(ステップS203)。ここでいう「警告指令」は、図6に示すように、第二のモード設定指令、アラート出力指令、及びアラートの音声データ等を含んで形成される。第二のモード設定指令は、前述の実施形態におけるモー
ド設定指令と同様に、ヒアラブルデバイス200の動作モードを第二のモードに設定するための指令である。アラート出力指令は、ステップS202で生成されたアラートの音声データを、ヒアラブルデバイス200の放音部203から放音させるための指令である。なお、アラート出力指令には、第一放音部203Rと第二放音部203Lとのうち、何れか一方の放音部のみからアラートの音声データを放音させることを指定する情報(指定情報)が含まれてもよい。例えば、車両10の右側に他の移動体が接近している事態においては、第一放音部203Rと第二放音部203Lとのうち、車両10の左右方向における右側に位置する放音部が指定されてもよい。その際、対象ユーザが車両10の進行方向を向いて乗車していれば、第一放音部203Rが当該指定の対象となる。一方、対象ユーザが車両10の進行方向とは逆を向いて乗車していれば、第二放音部203Lが当該指定の対象となる。また、車両10の左側に他の移動体が接近している事態においては、第一放音部203Rと第二放音部203Lとのうち、車両10の左右方向における左側に位置する放音部が指定されてもよい。その際、対象ユーザが車両10の進行方向を向いて乗車していれば、第二放音部203Lが当該指定の対象となる。一方、対象ユーザが車両10の進行方向とは逆を向いて乗車していれば、第一放音部203Rが当該指定の対象となる。斯様な指定情報に従って、アラートの音声データが放音されれば、対象ユーザは、他の移動体が接近してくる方向を直感的に把握することが可能になる。なお、対象ユーザの向きは、当該対象ユーザの座席位置に基づいて特定されてもよい。
上記したようにして生成部1023で生成された警告指令は、通信部101を通じて対象ユーザのヒアラブルデバイス200へ送信される(ステップS204)。その場合、警告指令の送信先となるヒアラブルデバイスは、車両10の運転操作を行っている対象ユーザのヒアラブルデバイスに限定されず、車両10の運転操作を行っていない対象ユーザのヒアラブルデバイスも含む。つまり、車両10の複数の対象ユーザが乗車している場合であれば、それら対象ユーザ全員のヒアラブルデバイス200に対して警告指令が送信される。そして、警告指令を受信したヒアラブルデバイス200では、制御部202が、当該ヒアラブルデバイス200の動作モードを第二のモードに設定するとともに、アラートの音声データを放音部203から放音させる。
図5の処理フローによれば、所定の緊急事態が発生した場合には、対象ユーザが運転ユーザであるか否かにかかわらず、当該対象ユーザのヒアラブルデバイスが第二のモードに設定されるとともに、ヒアラブルデバイス200からアラートの音声データが放音される。これにより、所定の緊急事態の発生に起因して車両10に備え付けのスピーカ等が故障した場合であっても、アラートの音声データをより確実にユーザに伝えることが可能になる。その結果、対象ユーザは、所定の緊急事態の発生を、より速やかに認識することが可能になる。
なお、所定の緊急事態が発生した場合に加え、車両10に複数のユーザが乗車しており且つそれら複数のユーザの何れかが発話した場合にも、ヒアラブルデバイス200の動作モードが自動的に第二のモードに設定されるようにしてもよい。これにより、対象ユーザがヒアラブルデバイス200の動作モードを第一のモードに設定している場合であっても、対象ユーザが他のユーザの発話を聞くことが可能になる。なお、車両10に乗車しているユーザの発話は、車内にマイクロフォン等を設置することで、検知されてもよい。
<変形例2>
前述の実施例及び変形例1では、自動運転モードと手動運転モードとを切替可能な車両10に本開示に係る情報処理装置を適用する例について述べたが、自動運転モードでのみ走行可能な車両又は手動運転モードでのみ走行可能な車両に、本開示に係る情報処理装置を適用することもできる。
自動運転モードでのみ走行可能な車両に本開示に係る情報処理装置を適用する場合は、車両の運転モードを取得する処理が省略される。そして、当該車両に乗車している全ての対象ユーザのヒアラブルデバイスに対して、第一のモードの設定が許容されればよい。また、所定の緊急事態が発生した場合には、前述の変形例1と同様に、全ての対象ユーザのヒアラブルデバイスを第二のモードに設定するとともに、それらのヒアラブルデバイスからアラートの音声データを放音させればよい。
また、手動運転モードでのみ走行可能な車両に本開示に係る情報処理装置を適用する場合も、車両の運転モードを取得する処理が省略される。そして、当該車両の運転席に着座している対象ユーザのヒアラブルデバイスのみが自動的に第二のモードに設定され、運転席以外の座席に着座している対象ユーザのヒアラブルデバイスに対しては第一のモードの設定が許容されればよい。また、緊急事態が発生した場合は、前述の変形例1と同様に、全ての対象ユーザのヒアラブルデバイスを第二のモードに設定するとともに、それらのヒアラブルデバイスからアラートの音声データを放音させればよい。
<その他>
上記した実施形態及び変形例はあくまでも一例であって、本開示はその要旨を逸脱しない範囲内で適宜変更して実施し得る。例えば、上記した実施形態と変形例とは、可能な限り組み合わせて実施することもできる。
また、本開示において説明した処理及び手段は、技術的な矛盾が生じない限りにおいて、自由に組み合わせて実施することができる。さらに、1つの装置が行うものとして説明した処理が、複数の装置によって分担して実行されてもよい。あるいは、異なる装置が行うものとして説明した処理が、1つの装置によって実行されても構わない。例えば、車載装置100が行うものとして説明した処理が、制御装置VCUで行われてもよく、若しくはヒアラブルデバイス200で行われてもよい。コンピュータシステムにおいて、各機能をどのようなハードウェア構成で実現するかは柔軟に変更可能である。
また、本開示は、上記の実施形態で説明した機能を実装したコンピュータプログラムをコンピュータに供給し、当該コンピュータが有する1つ以上のプロセッサがプログラムを読み出して実行することによっても実現可能である。このようなコンピュータプログラムは、コンピュータのシステムバスに接続可能な非一時的なコンピュータ可読記憶媒体によってコンピュータに提供されてもよく、又はネットワークを介してコンピュータに提供されてもよい。非一時的なコンピュータ可読記憶媒体は、データ及びプログラム等の情報を電気的、磁気的、光学的、機械的、又は化学的作用によって蓄積し、コンピュータ等から読み取ることができる記録媒体である。斯様な記録媒体としては、例えば、磁気ディスク(フロッピー(登録商標)ディスク、又はハードディスクドライブ(HDD)等)、光ディスク(CD-ROM、又はDVDディスク・ブルーレイディスク等)等の任意のタイプのディスクを例示することができる。また、記録媒体は、読み込み専用メモリ(ROM)、ランダムアクセスメモリ(RAM)、EPROM、EEPROM、磁気カード、フラッシュメモリ、光学式カード、又はSSD(Solid State Drive)等の媒体でもよい。
10 車両
100 車載装置
101 通信部
102 制御部
1021 検出部
1022 取得部
1023 生成部
103 記憶部
104 カメラ
200 ヒアラブルデバイス
200R 第一放音ユニット
200L 第二放音ユニット
201 通信部
202 制御部
203 放音部
203R 第一放音部
203L 第二放音部
204 収音部
205 スイッチ部

Claims (20)

  1. 外部の音を聞こえ難くする動作モードである第一のモードと、外部の音を聞こえ易くする動作モードである第二のモードとを、切り替え可能なヒアラブルデバイスを制御するための情報処理装置であって、
    前記ヒアラブルデバイスを装着したユーザが乗車している車両の運転モードを取得することと、
    前記車両の運転モードが自動運転モードである場合に、前記ヒアラブルデバイスの動作モードが前記第一のモードに設定されることを許容することと、
    前記車両の運転モードが手動運転モードである場合に、前記ユーザが前記車両の運転操作を行うユーザであれば、前記ヒアラブルデバイスの動作モードを前記第二のモードに設定することと、
    を実行する制御部を備える、
    情報処理装置。
  2. 前記車両の運転モードが手動運転モードである場合に、前記ユーザが該車両の運転操作を行わないユーザであれば、前記制御部は、前記ヒアラブルデバイスの動作モードが前記第一のモードに設定されることを許容する、
    請求項1に記載の情報処理装置。
  3. 所定の緊急事態が検知された場合に、前記制御部は、前記ヒアラブルデバイスの動作モードを前記第二のモードに設定する、
    請求項1又は2に記載の情報処理装置。
  4. 前記所定の緊急事態が検知された場合に、前記制御部は、前記ヒアラブルデバイスからアラートを放音させる、
    請求項3に記載の情報処理装置。
  5. 前記所定の緊急事態は、該車両に他の移動体が接近する事態である、
    請求項4に記載の情報処理装置。
  6. 前記ヒアラブルデバイスは、前記ユーザの両耳の各々に対して放音するための一対の放音ユニットを含み、
    前記車両の右側に他の移動体が接近する事態が検知された場合は、前記制御部が、前記一対の放音ユニットのうち、前記車両の左右方向における右側に位置する放音ユニットからアラートを放音させ、
    前記車両の左側に他の移動体が接近する事態が検知された場合は、前記制御部が、前記一対の放音ユニットのうち、前記車両の左右方向における左側に位置する放音ユニットからアラートを放音させる、
    請求項5に記載の情報処理装置。
  7. 前記所定の緊急事態は、前記車両と対象物とが衝突する事態である、
    請求項4に記載の情報処理装置。
  8. 前記所定の緊急事態は、前記車両が異常挙動を起こす事態である、
    請求項4に記載の情報処理装置。
  9. 前記所定の緊急事態は、前記車両に搭載される通報装置が緊急通報を行う事態である、請求項4に記載の情報処理装置。
  10. 前記アラートは、前記緊急通報の通報先との通話を含む、
    請求項9に記載の情報処理装置。
  11. 前記所定の緊急事態は、前記車両の運転操作を行っているユーザに異常が発生する事態である、
    請求項4に記載の情報処理装置。
  12. 前記車両に乗車しているユーザが発話したときに、該ユーザとは異なる他のユーザが前記車両に乗車していれば、前記制御部は、前記他のユーザに装着されているヒアラブルデバイスの動作モードを、前記第二のモードに設定する、
    請求項1から11の何れか1項に記載の情報処理装置。
  13. 外部の音を聞こえ難くする動作モードである第一のモードと、外部の音を聞こえ易くする動作モードである第二のモードとを、切り替え可能なヒアラブルデバイスを制御するための情報処理方法であって、
    前記ヒアラブルデバイスを装着したユーザが乗車している車両の運転モードを取得するステップと、
    前記車両の運転モードが自動運転モードである場合に、前記ヒアラブルデバイスの動作モードが前記第一のモードに設定されることを許容するステップと、
    前記車両の運転モードが手動運転モードである場合に、前記ユーザが前記車両の運転操作を行うユーザであれば、前記ヒアラブルデバイスの動作モードを前記第二のモードに設定するステップと、
    をコンピュータが実行する、
    情報処理方法。
  14. 前記車両の運転モードが手動運転モードである場合に、前記ユーザが該車両の運転操作を行わないユーザであれば、前記ヒアラブルデバイスの動作モードが前記第一のモードに設定されることを許容するステップを更に含む、
    請求項13に記載の情報処理方法。
  15. 所定の緊急事態が検知された場合に、前記ヒアラブルデバイスの動作モードを前記第二のモードに設定するステップを更に含む、
    請求項13又は14に記載の情報処理方法。
  16. 前記所定の緊急事態が検知された場合に、前記ヒアラブルデバイスからアラートを放音させるステップを更に含む、
    請求項15に記載の情報処理方法。
  17. 前記所定の緊急事態は、該車両に他の移動体が接近する事態である、
    請求項16に記載の情報処理方法。
  18. 前記ヒアラブルデバイスは、前記ユーザの両耳の各々に対して放音するための一対の放音ユニットを含み、
    前記車両の右側に前記他の移動体が接近する事態が検知された場合は、前記コンピュータが、前記一対の放音ユニットのうち、前記車両の左右方向における右側に位置する放音ユニットからアラートを放音させ、
    前記車両の左側に前記他の移動体が接近する事態が検知された場合は、前記コンピュータが、前記一対の放音ユニットのうち、前記車両の左右方向における左側に位置する放音ユニットからアラートを放音させる、
    請求項17に記載の情報処理方法。
  19. 前記所定の緊急事態は、前記車両に搭載される通報装置が緊急通報を行う事態である、請求項16に記載の情報処理方法。
  20. 請求項13から19の何れか1項に記載の情報処理方法を、コンピュータに実行させるための情報処理プログラム。
JP2020139058A 2020-08-20 2020-08-20 情報処理装置、情報処理方法、及び情報処理プログラム Active JP7347368B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2020139058A JP7347368B2 (ja) 2020-08-20 2020-08-20 情報処理装置、情報処理方法、及び情報処理プログラム
US17/405,075 US20220055666A1 (en) 2020-08-20 2021-08-18 Information processing device, information processing method, and non-transitory storage medium
CN202110952255.8A CN114074620A (zh) 2020-08-20 2021-08-19 信息处理装置、信息处理方法以及非易失性存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020139058A JP7347368B2 (ja) 2020-08-20 2020-08-20 情報処理装置、情報処理方法、及び情報処理プログラム

Publications (2)

Publication Number Publication Date
JP2022035024A true JP2022035024A (ja) 2022-03-04
JP7347368B2 JP7347368B2 (ja) 2023-09-20

Family

ID=80270400

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020139058A Active JP7347368B2 (ja) 2020-08-20 2020-08-20 情報処理装置、情報処理方法、及び情報処理プログラム

Country Status (3)

Country Link
US (1) US20220055666A1 (ja)
JP (1) JP7347368B2 (ja)
CN (1) CN114074620A (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007036610A (ja) * 2005-07-26 2007-02-08 Yamaha Corp 発音装置
JP2017124686A (ja) * 2016-01-13 2017-07-20 アルパイン株式会社 電子装置、ノイズ低減プログラムおよびノイズ低減方法
WO2018079527A1 (ja) * 2016-10-25 2018-05-03 パイオニア株式会社 制御装置、出力方法及びプログラム
JP2019129441A (ja) * 2018-01-25 2019-08-01 株式会社デンソーテン 楽曲提供システム及び楽曲提供方法
JP2019205124A (ja) * 2018-05-25 2019-11-28 トヨタ紡織株式会社 ヘッドホン

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002279559A (ja) * 2001-03-16 2002-09-27 Sogo Keibi Hosho Co Ltd 車両非常通報システム
EP1623513A1 (en) * 2003-05-07 2006-02-08 Koninklijke Philips Electronics N.V. Multi-path data communication system
US7983835B2 (en) * 2004-11-03 2011-07-19 Lagassey Paul J Modular intelligent transportation system
US9253560B2 (en) * 2008-09-16 2016-02-02 Personics Holdings, Llc Sound library and method
US20100245582A1 (en) * 2009-03-25 2010-09-30 Syclipse Technologies, Inc. System and method of remote surveillance and applications therefor
US11051127B2 (en) * 2014-08-06 2021-06-29 Mobile Video Computing Solutions Holdings Llc Communications hub for crash event detection, response, and reporting system
KR20160046260A (ko) * 2014-10-20 2016-04-28 현대자동차주식회사 차량의 무선 충전장치 및 방법
US9998892B2 (en) * 2015-12-11 2018-06-12 GM Global Technology Operations LLC Determining vehicle user location following a collision event
FR3064806B1 (fr) * 2017-04-04 2019-09-27 Peugeot Citroen Automobiles Sa Dispositif de controle actif de l’isolation phonique dans l’habitacle d’un vehicule autonome
WO2018200418A1 (en) * 2017-04-24 2018-11-01 Rapidsos, Inc. Modular emergency communication flow management system
US10708411B2 (en) * 2018-04-25 2020-07-07 Geotoll, Inc. GNSS phone-based automated emergency assistance calling for vehicular applications
JP7056420B2 (ja) * 2018-07-06 2022-04-19 トヨタ自動車株式会社 情報処理装置、情報処理方法、及び情報処理プログラム
US10832672B2 (en) * 2018-07-13 2020-11-10 International Business Machines Corporation Smart speaker system with cognitive sound analysis and response
US11395117B2 (en) * 2019-01-20 2022-07-19 Qualcomm Incorporated Vehicle emergency V2X notification based on sensor fusion
CN110602582A (zh) * 2019-08-09 2019-12-20 无锡中感微电子股份有限公司 具有全自然用户界面的耳机装置及其控制方法
CN111491236A (zh) * 2020-04-23 2020-08-04 歌尔科技有限公司 一种主动降噪耳机及其唤醒方法、装置及可读存储介质
CN113581071A (zh) * 2020-05-01 2021-11-02 哈曼国际工业有限公司 用于外部环境感测和渲染的系统和方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007036610A (ja) * 2005-07-26 2007-02-08 Yamaha Corp 発音装置
JP2017124686A (ja) * 2016-01-13 2017-07-20 アルパイン株式会社 電子装置、ノイズ低減プログラムおよびノイズ低減方法
WO2018079527A1 (ja) * 2016-10-25 2018-05-03 パイオニア株式会社 制御装置、出力方法及びプログラム
JP2019129441A (ja) * 2018-01-25 2019-08-01 株式会社デンソーテン 楽曲提供システム及び楽曲提供方法
JP2019205124A (ja) * 2018-05-25 2019-11-28 トヨタ紡織株式会社 ヘッドホン

Also Published As

Publication number Publication date
US20220055666A1 (en) 2022-02-24
CN114074620A (zh) 2022-02-22
JP7347368B2 (ja) 2023-09-20

Similar Documents

Publication Publication Date Title
JP6331975B2 (ja) 停車時車両制御装置
RU2706888C2 (ru) Система предупреждения об объекте в транспортном средстве (варианты)
JP6631445B2 (ja) 車両用情報提示装置
EP2831858B1 (en) Service of an emergency event based on proximity
US10464515B2 (en) Method for motorcycle accident detection and notification
KR101478951B1 (ko) 비가청 근접 경고 신호 발생을 통한 보행자 안전 알림 방법 및 시스템
US11203316B2 (en) Apparatus and method for incident response
US20190045867A1 (en) Helmet with automatic emergency processing
WO2017099723A1 (en) Extended range vehicle horn
CN103959353B (zh) 针对机动车在危险状况中的损害限制
JP2012146316A (ja) 警報装置およびその方法
CN110753281B (zh) 声学系统
JP5954520B2 (ja) 車両接近通報装置
JP2011172059A (ja) 音声出力システム
JP7347368B2 (ja) 情報処理装置、情報処理方法、及び情報処理プログラム
JP6341467B2 (ja) 緊急通報システム
JP2019068222A (ja) スピーカ監視装置およびスピーカ監視方法
JP2015161977A (ja) 車両用緊急対応装置及び車両事故通報システム
JP6272142B2 (ja) 車載用音響装置
JP2018120293A (ja) 車両運行管理システム
JP5794971B2 (ja) 音声出力システム
JP4822073B2 (ja) 車両の接近警告装置
JP2018028806A (ja) 車両用警報制御装置および車両用警報制御システム
KR20230040165A (ko) 차량 제어 장치 그 제어 방법
JP2023088673A (ja) 路側機、及び、暴走車両被害軽減システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220809

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230405

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230411

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230605

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230808

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230821

R151 Written notification of patent or utility model registration

Ref document number: 7347368

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151