JP2021185664A - 車両 - Google Patents

車両 Download PDF

Info

Publication number
JP2021185664A
JP2021185664A JP2021119653A JP2021119653A JP2021185664A JP 2021185664 A JP2021185664 A JP 2021185664A JP 2021119653 A JP2021119653 A JP 2021119653A JP 2021119653 A JP2021119653 A JP 2021119653A JP 2021185664 A JP2021185664 A JP 2021185664A
Authority
JP
Japan
Prior art keywords
voice
information
terminal devices
vehicle
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021119653A
Other languages
English (en)
Inventor
勉 足立
Tsutomu Adachi
丈誠 横井
Takemasa Yokoi
茂 林
Shigeru Hayashi
健純 近藤
Takeyoshi Kondo
辰美 黒田
Tatsumi Kuroda
大介 毛利
Daisuke Mori
豪生 野澤
Takeo Nozawa
謙史 竹中
Kenji Takenaka
博司 前川
Hiroshi Maekawa
毅 川西
Takeshi Kawanishi
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ADC Technology Inc
Original Assignee
ADC Technology Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ADC Technology Inc filed Critical ADC Technology Inc
Publication of JP2021185664A publication Critical patent/JP2021185664A/ja
Priority to JP2022208636A priority Critical patent/JP2023052086A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/72Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for transmitting results of analysis
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
    • H04M1/72457User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions according to geographic location
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/02Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241Advertisements
    • G06Q30/0251Targeted advertisements
    • G06Q30/0261Targeted advertisements based on user location
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/02Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241Advertisements
    • G06Q30/0251Targeted advertisements
    • G06Q30/0265Vehicular advertisement
    • G06Q30/0266Vehicular advertisement based on the position of the vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/02Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241Advertisements
    • G06Q30/0251Targeted advertisements
    • G06Q30/0267Wireless devices
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/60Substation equipment, e.g. for use by subscribers including speech amplifiers
    • H04M1/6033Substation equipment, e.g. for use by subscribers including speech amplifiers for providing handsfree use or a loudspeaker mode in telephone sets
    • H04M1/6041Portable telephones adapted for handsfree use
    • H04M1/6075Portable telephones adapted for handsfree use adapted for handsfree use in a vehicle
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/7243User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages
    • H04M1/72433User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages for voice messaging, e.g. dictaphones

Abstract

【課題】端末装置の操作や視認が困難なユーザであってもつぶやきたい内容等の発信内容を安全に送受信できる通信システム及び端末装置を提供する。【解決手段】通信システムは、互いに通信可能な複数の端末装置を備えている。各端末装置は、音声入力変換手段と、音声送信手段と、音声受信手段と、音声再生手段とを備えている。音声再生手段は、再生が完了していない複数の音声信号が存在する場合、各音声信号に対応する音声が重複しないように整列させてから再生する。【選択図】図10C

Description

関連出願の相互参照
本国際出願は、2011年12月14日に日本国特許庁に出願された日本国特許出願第2011−273578号および日本国特許出願第2011−273579号、並びに、2012年3月28日に日本国特許庁に出願された日本国特許出願第2012−074627号および日本国特許出願第2012−074628号に基づく優先権を主張するものであり、日本国特許出願第2011−273578号、第2011−273579号、第2012−074627号、および第2012−074628号の全内容を参照により本国際出願に援用する。
本発明は、複数の端末装置を備えた通信システム、および端末装置に関する。
多数のユーザが携帯電話等の端末装置を用いて、つぶやきたい内容等の発信内容を文字でそれぞれ入力すると、サーバがその発信内容を順に並べた状態で各端末装置に配信するシステムが知られている(例えば、特許文献1参照)。
特開2011−215861号公報
端末装置の操作や視認が困難なユーザであってもつぶやきたい内容等の発信内容を安全に送受信できることが好ましい。
本発明の1つの局面は、
互いに通信可能な複数の端末装置を備えた通信システムであって、
各端末装置は、
ユーザが音声を入力すると該音声を音声信号に変換する音声入力変換手段と、
前記音声信号を他の端末装置を含む装置に送信する音声送信手段と、
他の端末装置にて送信された音声信号を受信する音声受信手段と、
受信した音声信号を再生する音声再生手段と、
を備え、
前記音声再生手段は、再生が完了していない複数の音声信号が存在する場合、各音声信号に対応する音声が重複しないように整列させてから再生する。
また、本発明の別の局面は、
複数の端末装置と前記複数の端末装置のそれぞれと通信可能なサーバ装置とを備えた通信システムであって、
各端末装置は、
ユーザが音声を入力すると該音声を音声信号に変換する音声入力変換手段と、
前記音声信号を前記サーバ装置に送信する音声送信手段と、
前記サーバ装置にて送信された音声信号を受信する音声受信手段と、
受信した音声信号を再生する音声再生手段と、
を備え、
前記サーバ装置は、
前記複数の端末装置から送信された音声信号を受信し、各音声信号に対応する音声が重複しないように整列させてから前記複数の端末装置に対して音声信号を配信する配信手段を備えている。
これらのような通信システムによれば、音声で発信内容を入力し、音声で他の通信装置からの発信内容を再生することができるので、端末装置の操作や視認が困難なユーザであってもつぶやきたい内容等の発信内容を安全に送受信することができる。
また、これらのような通信システムでは、音声を再生する際に、音声が重複しないように再生することができるので、音声を聞きやすくすることができる。
また、上記いずれの通信システムにおいても、音声再生手段は、ユーザによる特定の指令を受けると、既に再生した音声信号を再度再生するようにしてもよい。特に、直前に再生した音声信号を再生してもよい。
このような通信システムによれば、騒音等によって聞き取れなかった音声信号をユーザの指令により再度再生することができる。
さらに、上記いずれの通信システムにおいても、端末装置は車両に搭載されてもよく、端末装置は、車両のハンドル上にあるユーザの手の動きを検出する動作検出手段と、動作検出手段により音声の入力を開始する開始特定動作を検出した場合に、音声入力変換手段に作動を開始させ、動作検出手段により音声の入力を終了する終了特定動作を検出した場合に、音声入力変換手段に作動を終了させる作動制御手段と、を備えていてもよい。
このような通信システムによれば、音声を入力するための操作をハンドル上で行うことができる。よって、車両の運転中のユーザがより安全に音声を入力することができる。
また、上記いずれの通信システムにおいても、開始特定動作、および終了特定動作は、クラクションを操作する際の操作方向とは異なる方向の手の動きであってもよい。
このような通信システムによれば、開始特定動作または終了特定動作の際に、クラクションが鳴らされることを抑制することができる。
次に、端末装置は、上記のいずれかの通信システムを構成する端末装置として構成されていてもよい。
このような端末装置によれば、上記のいずれかの通信システムと同様の効果を享受することができる。
なお、上記通信システム(端末装置)においては、音声送信手段は、ユーザによって入力された音声信号に、該ユーザを識別するための識別情報を音声で付加した新たな音声信号を生成し、該生成した音声信号を送信するようにしてもよい。
また、複数の端末装置と複数の端末装置のそれぞれと通信可能なサーバ装置とを備えた通信システムにおいては、配信手段は、ユーザによって入力された音声信号に、該ユーザを識別するための識別情報を音声で付加した新たな音声信号を生成し、該生成した音声信号を配信するようにしてもよい。
これらのような通信システムによれば、音声で発信内容を入力し、音声で他の通信装置からの発信内容を再生することができるので、端末装置の操作や視認が困難なユーザであってもつぶやきたい内容等の発信内容を安全に送受信することができる。
また、これらのような通信システムでは、ユーザを識別するための識別情報を音声で付加することができるので、ユーザは自身の識別情報を話すことなく、他のユーザに音声発
信元のユーザを通知することができる。
さらに、上記いずれかの通信システムにおいて、付加する識別情報としては、ユーザの本名であってもよいし、本名以外のニックネームであってもよい。また、通信態様に応じて識別情報として追加する内容(例えば、本名、第1のニックネーム、第2のニックネーム等)を変更するようにしてもよい。例えば、互いに自身を特定するための情報を事前に交換しておき、通信相手が予め登録された相手であるか否かによって、追加する識別情報を変更すればよい。
また、上記いずれかの通信システムにおいては、音声信号の再生前に、音声信号から該音声信号に含まれる予め設定されたキーワードを抽出するキーワード抽出手段と、音声信号に含まれるキーワードを別の単語の音声または予め設定された音に置き換える音声置換手段と、を備えていてもよい。
このような通信システムによれば、配信するには好ましくない単語(卑猥な単語や人名を示す単語、或いは野蛮な単語等)をキーワードに登録し、配信してもよい単語や音に置換して配信を行うことができる。
なお、例えば、通信相手等の条件によって音声置換手段を作動させたり作動させなかったりしてもよい。また、「あのー」や「えーっと」等、話し言葉特有の意味のない単語については、この単語を省略した音声信号を生成するようにしてもよい。この場合、省略した分だけ音声信号の再生時間を短縮することができる。
また、上記いずれかの通信システムにおいては、各端末装置は、自身の位置情報を取得し、該位置情報を自身の端末装置から送信する音声信号に対応付けて他の端末装置に対して送信する位置情報送信手段と、他の端末装置にて送信された位置情報を取得する位置情報取得手段と、再生される音声に対応する端末装置の位置と自身の端末装置の位置との位置関係に応じて、音声再生手段によって音声を再生する際に出力される音量を制御する音量制御手段と、を備えていてもよい。
このような通信システムによれば、再生される音声に対応する端末装置の位置と自身の端末装置の位置との位置関係に応じて音量を制御するので、音声を聞くユーザは、他の端末装置と自身の端末装置との位置関係を感覚的に把握することができる。
なお、音量制御手段は、他の端末装置までの距離が遠くなるに従って音量が小さくなるように制御してもよいし、複数のスピーカから音声を出力する場合、自身の端末装置の位置に対する他の端末装置が位置する方位に応じて、ユーザからみて他の端末装置が位置する方向からの音量が大きくなるように音量を制御してもよい。また、このような制御を組み合わせてもよい。
さらに、上記通信システムにおいては、音声信号を文字に変換する文字変換手段と、該変換された文字を表示装置に出力する文字出力手段と、を備えていてもよい。
このような通信システムによれば、音声で聞き逃した情報を文字で確認することができる。
なお、上記いずれかの通信システムでは、車両の状態やユーザの運転操作を示す情報(ライト、ワイパ、テレビ、ラジオ等の作動状態、走行速度、進行方向等の走行状態、車両のセンサによる検出値や故障の有無等の制御状態)を音声に併せて送信してもよい。
この際、これらの情報は、音声で出力してもよいし、文字で出力してもよい。また、例
えば他の端末装置から得られる情報に基づいて渋滞情報等の各種情報を生成し、該生成した情報を出力してもよい。
なお、上記いずれかの通信システムにおいては、各端末装置同士が直接音声信号を交換する構成と、各端末装置同士がサーバ装置を介して音声信号を交換する構成とを、予め設定された条件(例えば、サーバ装置と繋がる基地局までの距離や、端末装置同士の通信状態、或いは、ユーザによる設定等)によって切り換えるようにしてもよい。
また、一定時間毎、一定の音声信号再生数毎、或いは、端末装置の位置に応じて、広告を音声で流すようにしてもよい。広告の内容は、広告主の端末装置やサーバ装置等から音声信号の再生を行う端末装置に送信するようにすればよい。
この際、ユーザが端末装置に対して所定の操作を入力することによって広告主との通話(通信)ができるようにしたり、広告主の店舗に端末装置のユーザを誘導したりするようにしてもよい。
さらに、上記いずれかの通信システムにおいても、通信相手を不特定多数としてもよいし、通信相手を限定してもよい。
例えば、位置情報を交換する構成の場合には、一定距離以内の端末装置を通信相手としてもよいし、特定のユーザ(先行車両や対向車両など(カメラを用いたナンバプレート撮像、GPSで特定))、予め設定されたグループ内のユーザを通信相手としてもよい。また、設定により通信相手を変更できるように(通信モードを変更できるように)してもよい。
また、端末装置が車両に搭載されている場合には、同じ道路を同じ方向に移動している端末装置を通信相手としたり、車両の挙動が一致している端末装置(脇道にそれた場合には通信相手から外すなど)を通信相手としたりしてもよい。
また、他のユーザを特定して、お気に入り登録や、排除登録等を予め設定できるように構成しておき、好みの相手を選択して通信できるようにしてもよい。この場合、音声を送信する際に通信相手を特定する通信相手情報を送信したり、サーバ装置が存在する場合には、サーバ装置に通信相手情報を登録しておいたりすることで、所定の相手にのみに音声信号を送信することができるようにすればよい。
また、複数のボタン等のスイッチにそれぞれ方向を対応付けておき、ユーザがこのスイッチで通信相手のいる方向を指定すると、その方向のユーザのみを通信相手に設定するようにしてもよい。
さらに、ユーザが音声を入力する際の感情や丁寧な話し方であるか等を、入力レベルの振幅や音声に含まれている丁寧表現を音声信号から検出することで判断し、感情が高ぶっていたり、丁寧な話し方でなかったりするユーザによる音声を配信しないようにしてもよい。
また、人の悪口を発言するユーザや、感情が高ぶっていたり、丁寧な話し方でなかったりするユーザに、失言等を通知するようにしてもよい。この場合、悪口等としてキーワード登録された単語が音声信号中に含まれているか否かによって判断を行うようにすればよい。
さらに、上記いずれの通信システムにおいても、音声信号を交換する構成としたが、文字からなる情報を取得し、この情報を音声に変換して再生するようにしてもよい。また、
音声を送信する際にも、音声を文字に変換してから伝送し、音声に復元してから再生するようにしてもよい。この構成では、通信によって伝送すべきデータ量を減少させることができる。
さらに、このように文字によってデータを伝送する構成においては、予め設定された複数の言語のうちの最もデータ量が少なくなる言語に翻訳してからデータを伝送するようにしてもよい。
ところで近年、例えばTwitter(登録商標)やFacebook(登録商標)など、ユーザが発
信した情報を、他のユーザが閲覧できる状態で管理するサービスの利用者が急増している。こうしたサービスにおいて、情報の発信及び閲覧には、パーソナルコンピュータや携帯電話機(いわゆるスマートフォンを含む)などの端末装置が用いられる(特開2011−215861号公報)。
一方で、車両(例えば自動車)に乗車した状態のユーザ(例えば車両の運転者)は、車両に乗車していない状態と比較して行動が制限されることから、時間を持て余すことが多い。このため、車両の乗車中に、前述したようなサービスを利用すると、時間を有効に活用することができる。しかしながら、従来のサービスは、車両に乗車したユーザによる使用態様を十分に考慮したものとは言い難かった。
そこで、車両に乗車したユーザにとって有用なサービスを構築するための技術を提供することが求められる。
このための技術として、第1の参考発明の端末装置は、音声を入力する入力手段と、位置情報を取得する取得手段と、前記入力手段により入力された音声を表す音声情報を、その音声の入力時に前記取得手段により取得された位置情報である発声位置が特定可能な形で、複数の前記端末装置で共用されるサーバへ送信する送信手段と、他の前記端末装置から前記サーバへ送信された前記音声情報を前記サーバから受信し、前記音声情報の表す音声を再生する再生手段と、を備え、前記再生手段は、他の前記端末装置から前記サーバへ送信された前記音声情報のうち、その発声位置が、前記取得手段により取得された位置情報を基準に設定される周辺エリア内に位置する前記音声情報の表す音声を再生する。
ある場所でユーザが発した音声は、その場所に存在する(又はその場所へ向かう)他のユーザにとって、有用である場合が多い。特に、車両に乗車したユーザの位置は、車両に乗車していないユーザと比較して、時間の経過(車両の走行)に伴い大きく変化し得る。したがって、車両に乗車するユーザにとって、現在地を基準とする周辺エリア内で発せられた他のユーザの音声は、有用な情報となり得る。
この点、前述した構成によれば、ある端末装置Aのユーザは、他の端末装置B(他の車両)のユーザが発した音声のうち、端末装置Aの現在地を基準に設定される周辺エリア内で発せられた音声を聞くことができる。したがって、このような端末装置によれば、車両に乗車したユーザに対して有用な情報を提供することができる。
また、前述した端末装置において、前記周辺エリアは、前記取得手段により取得された位置情報に対して進行方向側に偏りを持つエリアであってもよい。この構成によれば、既に通過した場所で発せられた音声を再生対象から減らして、これから向かう場所で発せられた音声を増やすことができる。したがって、このような端末装置によれば、情報の有用性を高くすることができる。
また、前述した端末装置において、前記周辺エリアは、進行予定経路に沿ったエリアであってもよい。この構成によれば、進行予定経路に沿ったエリア以外で発せられた音声を
再生対象から除外することができる。したがって、このような端末装置によれば、情報の有用性を高くすることができる。
また、第2の参考発明の端末装置は、車両に関する特定のイベントが発生したことを検出する検出手段と、前記検出手段により前記特定のイベントが発生したことが検出された場合に、前記特定のイベントに対応する音声を表す音声情報を、他の前記端末装置、又は、複数の前記端末装置で共用されるサーバ、へ送信する送信手段と、他の前記端末装置又は前記サーバから前記音声情報を受信し、前記音声情報の表す音声を再生する再生手段と、を備える。
この構成によれば、ある端末装置Aのユーザは、他の端末装置B(他の車両)から送信された、車両に関する特定のイベントに対応する音声を聞くことができる。したがって、端末装置のユーザは、他の車両の状態を、運転しながら把握することができる。
また、前述した端末装置において、前記検出手段は、車両のユーザにより特定の運転操作が行われたことを、前記特定のイベントとして検出し、前記送信手段は、前記検出手段により前記特定の運転操作が検出された場合に、前記特定の運転操作が行われたことを通知する内容の音声を表す前記音声情報を送信してもよい。この構成によれば、端末装置のユーザは、他の車両において特定の運転操作が行われたことを、運転しながら把握することができる。
また、前述した端末装置において、前記検出手段は、急ブレーキ操作を検出し、前記送信手段は、前記検出手段により急ブレーキ操作が検出された場合に、急ブレーキ操作が行われたことを通知する内容の音声を表す前記音声情報を送信してもよい。この構成によれば、端末装置のユーザは、他の車両において急ブレーキ操作が行われたことを、運転しながら把握することができる。したがって、目視だけで他の車両の状態を確認する場合と比較して、安全な走行を実現することができる。
通信システムの概略構成を示すブロック図である。 車両に搭載された装置の概略構成を示すブロック図である。 入力部の構成を示す説明図である。 サーバの概略構成を示すブロック図である。 音声発信処理の一部を示すフローチャートである。 音声発信処理の残りの部分を示すフローチャートである。 分類処理を示すフローチャートである。 操作音声決定処理を示すフローチャートである。 状態音声決定処理を示すフローチャートである。 認証処理を示すフローチャートである。 音声配信処理の一部を示すフローチャートである。 音声配信処理の別の一部を示すフローチャートである。 音声配信処理の残りの部分を示すフローチャートである。 音声再生処理の一部を示すフローチャートである。 音声再生処理の残りの部分を示すフローチャートである。 スピーカ設定処理を示すフローチャートである。 モード移行処理を示すフローチャートである。 再再生処理を示すフローチャートである。 蓄積処理を示すフローチャートである。 要求処理を示すフローチャートである。 応答処理の一部を示すフローチャートである。 応答処理の残りの部分を示すフローチャートである。 自車両位置から所定距離以内に設定された周辺エリアを示す図である。 基準位置から所定距離以内に設定された周辺エリアを示す図である。 走行予定経路に沿って設定された周辺エリアを示す図である。 変形例の応答処理の一部を示すフローチャートである。 変形例の応答処理の残りの部分を示すフローチャートである。 変形例の音声再生処理の一部を示すフローチャートである。 変形例の音声再生処理の別の一部を示すフローチャートである。 変形例の音声再生処理のさらに別の一部を示すフローチャートである。 変形例の音声再生処理の残りの部分を示すフローチャートである。 居眠り判定処理を示すフローチャートである。 追加情報表示処理を示すフローチャートである。
以下に本発明に係る実施の形態を図面とともに説明する。
[本実施形態の構成]
図1は、本発明が適用された通信システム1の概略構成を示すブロック図、図2は、車両に搭載された装置の概略構成を示すブロック図である。また、図3A−3Cは、入力部45の構成を示す説明図である。また、図4は、サーバ10の概略構成を示すブロック図である。
通信システム1は、端末装置31〜33のユーザ同士が簡単な操作で音声によってコミュニケーションをすることが可能な機能を有するシステムである。ここでいうユーザとは、車両の乗員(例えば運転者)である。通信システム1は、図1に示すように、互いに通信可能な複数の端末装置31〜33と、これらの端末装置31〜33のそれぞれと基地局20,21を介して通信可能なサーバ10と、を備えている。つまり、サーバ10は、複数の端末装置31〜33で共用される。なお、本実施形態では、説明の便宜上、3つの端末装置31〜33を図示しているが、より多くの端末装置を用いてもよい。
端末装置31〜33は、例えば乗用車やトラック等の車両に搭載された車載装置として構成されており、図2に示すように、CPU41、ROM42、RAM43等を備えた周知のマイコンとして構成されている。CPU41は、ROM42等に格納されたプログラムに基づいて、後述する音声発信処理や音声再生処理等の各種処理を実施する。
また、端末装置31〜33は、その他に通信部44や入力部45を備えている。通信部44は、例えば携帯電話機の無線基地局として構成された基地局20,21と通信を行う機能(携帯電話網を介してサーバ10や他の端末装置31〜33と通信を行うための通信部)と、自身の見通し範囲内に位置する他の端末装置31〜33(先行車両、後方車両、対向車両など、他の車両に搭載された端末装置31〜33)と直接通信を行う機能(他の端末装置31〜33と直接通信を行うための通信部)と、を備えている。
入力部45は、端末装置31〜33のそれぞれのユーザが指令を入力するためのボタン、スイッチ等として構成されている。また、入力部45は、ユーザの生体的特徴を読み取るための機能も備えている。
さらに、入力部45は、図3Aに示すように、車両のハンドル60のユーザ側の面において、複数のタッチパネル61,62としても構成されている。そして、これらのタッチパネル61,62は、クラクションスイッチ63の周囲、かつ車両の旋回の際のハンドル操作時には触れない位置に配置されている。このようなタッチパネル61,62は、車両のハンドル60上にあるユーザの手(指)の動きを検出する。
また、図2に示すように、端末装置31〜33は、車両に備えられたナビゲーション装置48、オーディオ装置50、ABSECU51、マイク52、スピーカ53、ブレーキセンサ54、パッシングセンサ55、ウインカセンサ56、下面センサ57、横風センサ58、衝突/転倒センサ59、その他の周知の複数のセンサ類に通信線(例えば車内LAN)を介して接続されている。
ナビゲーション装置48は、周知のナビゲーション装置と同様に、車両の現在地を検出する現在地検出部及び画像を表示させるディスプレイを備えている。ナビゲーション装置48は、GPS受信機49により検出される車両の位置座標(現在地)の情報などに基づき、周知のナビゲーション処理を実行する。また、ナビゲーション装置48は、端末装置31〜33から現在地を要求されると、最新の現在地の情報を端末装置31〜33に返す。また、ナビゲーション装置48は、端末装置31〜33から文字情報を表示させるよう指令を受けると、ディスプレイに文字情報に対応する文字を表示させる。
オーディオ装置50は、音楽等を再生する周知の音響再生装置である。オーディオ装置50によって再生された音楽等は、スピーカ53から出力される。
ABSECU51は、アンチロック・ブレーキ・システム(ABS)に関する制御を行う電子制御装置(ECU)である。ABSECU51は、車輪のスリップ率があらかじめ設定された範囲内(車両を安全かつ速やかに制動可能なスリップ率)となるように制動力(ブレーキ油圧)を制御することで、ブレーキのロックを抑制する。つまり、ABSECU51は、ブレーキロック抑制装置として機能する。また、ABSECU51は、ABSが作動した場合(制動力の制御を開始した場合)に、通知信号を端末装置31〜33に出力する。
マイク52は、ユーザの発する音声を入力する。
スピーカ53は、例えば5つのスピーカとサブウーハとを備えた5.1chサラウンドシステムとして構成されている。これらの各スピーカは、ユーザの周囲を取り囲むように配置されている。
ブレーキセンサ54は、ユーザによるブレーキペダルの踏み込み速度が判定基準値以上である場合に、急ブレーキ操作として検出する。なお、急ブレーキ操作の判定は、これに限定されるものではなく、例えば、ブレーキペダルの踏み込み量に基づき判定してもよく、また、車両の加速度(減速度)に基づき判定してもよい。
パッシングセンサ55は、ユーザによるパッシング操作(ヘッドライトを一時的にロービームからハイビームにする操作)を検出する。
ウインカセンサ56は、ユーザによるウインカ操作(左右いずれかのウインカを点滅させる操作)を検出する。
下面センサ57は、路面の段差などと車両の下面とが接触した状態又は接触する危険性の高い状態を検出する。本実施形態では、外部の物体(路面の段差など)と接触することにより容易に変形又は変位し、接触状態から解放されることで元の(変形前又は変位前の)状態に復帰する検出部材が、前後のバンパの下面(車輪部分を除く車両の下面における最下部)に設けられている。そして、下面センサ57は、この検出部材の変形又は変位を検出することで、路面の段差などと車両の下面とが接触した状態又は接触する危険性の高い状態を検出する。なお、路面の段差などと車両の下面とが接触した状態又は接触する危険性の高い状態を、外部の物体と非接触で検出するセンサを用いてもよい。
横風センサ58は、車両に対する強い横風(例えば、風圧が判定基準値以上の横風)を
検出する。なお、横風センサ58は、風圧を検出するセンサとしてもよく、また、風量を検出するセンサとしてもよい。
衝突/転倒センサ59は、車両が外部の物体(他の車両を含む)に衝突した状態や、車両が転倒した状態など、車両が事故を起こした可能性の高い状態を検出する。衝突/転倒センサ59は、車両に強い衝撃(加速度)が生じたことを検出するセンサとして構成することができる。なお、衝突した状態と、転倒した状態と、を独立して検出するようにしてもよい。例えば、車両(車体)の傾き度合いに応じて転倒状態か否かを判定してもよい。また、車両が事故を起こした可能性の高いその他の状態(例えば、エアバッグが開いた状態)を含めてもよい。
サーバ10は、図4に示すように、CPU11、ROM12、RAM13、データベース(記憶装置)14、通信部15等を備えた周知のサーバとしてのハードウェア構成を備えている。このサーバ10は、後述する音声配信処理等の各種処理を実施する。
また、サーバ10のデータベース14としては、端末装置31〜33のユーザの名前と、これらのユーザのニックネームと、を対応付けた名前/ニックネームDB、端末装置31〜33のIDと通信相手とを記述した通信相手DB、禁止ワードが登録された禁止ワードDB、広告主の端末装置のIDと広告を行う範囲とが記述された広告DB等を備えている。ユーザは、サーバ10に名前、ニックネーム、通信相手等を登録しておくことで、本システムのサービスが利用可能となる。
[本実施形態の処理]
このような通信システム1において実施される処理について、図5A及び5B以下の図面を用いて説明する。図5A及び5Bは、端末装置31〜33のCPU41が実行する音声発信処理を示すフローチャートである。
音声発信処理は、端末装置31〜33の電源が投入されると開始され、その後繰り返し実行される処理である。また、音声発信処理は、ユーザによって発せられる音声を表す音声情報などを他の装置(サーバ10や他の端末装置31〜33等)に対して送信する処理である。以下の説明では、他の装置へ送信するための音声情報を「送信音声情報」ともいう。
詳細には、図5A及び5Bに示すように、まず、入力部45を介した入力操作があったか否かを判定する(S101)。ここで、入力操作としては、通常の入力操作と、緊急用の入力操作とがあり、異なる入力操作として自身のROM等のメモリに登録されている。
通常の入力操作としては、例えば図3Bに示すように、タッチパネル61,62においてハンドル60の径方向にスライドする手の動きが登録されており、緊急用の入力操作としては、例えば図3Cに示すように、タッチパネル61,62においてハンドル60の周方向にスライドする手の動きが登録されている。この処理では、これらの操作のうちのいずれかがタッチパネル61,62を介して入力されたか否かを判定する。
このように入力操作がクラクションスイッチ63の作動方向(押す方向)とは異なる方向で作動するよう設定されているとクラクションの誤作動を抑制することができるため好ましい。
入力操作がなければ(S101:NO)、後述するS110の処理に移行する。また、入力操作があれば(S101:YES)、ユーザの発する音声(送信音声情報とするための音声)の録音を開始する(S102)。
そして、入力部45を介した終了操作があったか否かを判定する(S103)。終了操作は入力操作同様にあらかじめROM等のメモリに登録されている。この終了操作は入力操作と同様の操作であってもよいし、異なる操作であってもよい。
終了操作がなければ(S103:NO)、入力操作後、あらかじめ設定された基準時間(例えば20秒)が経過しているか否かを判定する(S104)。ここで基準時間は、長時間の音声入力を禁止するために設けられたものであり、特定の通信相手と通信を行う場合には、不特定の通信相手と通信を行う場合に比べ、同じかより長い基準時間が設定される。また、基準時間を無限大の時間に設定してもよい。
基準時間が経過していなければ(S104:NO)、S102の処理に戻る。また、基準時間が経過している場合(S104:YES)及びS103の処理にて終了操作がされている場合(S103:YES)には、録音を終了し、入力操作が緊急用の操作入力であるか否かを判定する(S105)。緊急用の操作入力であれば(S105:YES)、緊急用の音声情報である旨の緊急情報フラグを付加し(S106)、S107の処理に移行する。
緊急用の操作入力でなければ(S105:NO)、直ちにS107の処理に移行する。続いて、録音された音声(肉声)を、合成音声(機械音)に変換する(S107)。具体的には、まず、録音された音声を、周知の音声認識技術を利用してテキスト(文字データ)に変換する。次に、変換により得られたテキストを、周知の音声合成技術を利用して合成音声に変換する。このようにして、録音された音声が合成音声に変換される。
続いて、送信音声情報に操作内容情報を付加するよう設定する(S108)。ここで操作内容情報とは、車両の状態やユーザの運転操作を示す情報(ウインカ操作、パッシング操作、急ブレーキ操作等の操作状態、ライト、ワイパ、テレビ、ラジオ等の作動状態、走行速度、加速度、進行方向等の走行状態、各種センサによる検出値や故障の有無等の制御状態等)を示す。これらの情報は、車両内の通信線(例えば車内LAN)を介して取得される。
続いて、送信音声情報を、あらかじめ決められた複数の種類(ジャンル)のいずれかに分類し、分類した種類を表す分類情報を送信音声情報に付加するよう設定する分類処理を実行する(S109)。このような分類は、例えばサーバ10や端末装置31〜33において、多数の音声情報の中から必要な音声情報を抽出(検索)する場合に利用される。送信音声情報の分類は、ユーザが手動で行ってもよく、また、自動で行ってもよい。例えば、ディスプレイに選択項目(あらかじめ決められた複数の種類)を表示し、ユーザに選択させてもよい。また例えば、発言の内容を解析し、その内容に応じた種類に分類してもよい。また例えば、発言時の状況(車両の状態や運転操作など)に応じた種類に分類してもよい。
図6は、送信音声情報の分類を自動で行う場合の分類処理の一例を示すフローチャートである。まず、特定の運転操作が発言時に行われていたか否かを判定する(S201)。この例では、パッシングセンサ55により検出されるパッシング操作と、ブレーキセンサ54により検出される急ブレーキ操作と、がここでいう特定の運転操作に該当する。また、この例では、音声情報を、「通常」、「注意」及び「警告」の3つの種類に分類する。
特定の運転操作が発言時に行われていないと判定した場合には(S201:NO)、送信音声情報を「通常」に分類し、「通常」を表す分類情報を送信音声情報に付加するよう設定する(S202)。
一方、パッシング操作が発言時に行われていたと判定した場合には(S201:YES,S203:YES)、送信音声情報を「注意」に分類し、「注意」を表す分類情報を送信音声情報に付加するよう設定する(S204)。また、急ブレーキ操作が発言時に行われていたと判定した場合には(S203:NO,S205:YES)、送信音声情報を「警告」に分類し、「警告」を表す分類情報を送信音声情報に付加するよう設定する(S206)。
このような分類処理の後、後述するS114(図5B)に移行する。なお、S205で急ブレーキ操作が発言時に行われていないと判定した場合には(S205:NO)、S101(図5A)に戻る。
ちなみに、この例では、送信音声情報を1つの種類に分類しているが、これに限定されるものではなく、例えばタグ情報のように、1つの送信音声情報に対し2つ以上の種類を割り当てることができるようにしてもよい。
図5Aに戻り、前述したS101で入力操作なしと判定した場合には(S101:NO)、特定の運転操作が行われたか否かを判定する(S110)。ここでいう特定の運転操作とは、ユーザが発声していない音声を送信音声情報として送信するトリガとしての操作であり、前述したS201で判定した特定の運転操作とは異なるものであってもよい。特定の運転操作が行われたと判定した場合には(S110:YES)、運転操作に応じた送信音声情報を決定する操作音声決定処理を実行する(S111)。
図7は、操作音声決定処理の一例を示すフローチャートである。この例では、ウインカセンサ56により検出されるウインカ操作と、パッシングセンサ55により検出されるパッシング操作と、ブレーキセンサ54により検出される急ブレーキ操作と、がS110でいう特定の運転操作に該当する。
まず、S110でいう特定の運転操作としてウインカ操作が検出されたか否かを判定する(S301)。ウインカ操作が検出されたと判定した場合には(S301:YES)、ウインカ操作が行われたことを通知する内容の音声(例えば、「ウインカ操作を行いました」、「左(右)へ移動します」、「注意してください」等の音声)を送信音声情報に設定する(S302)。
一方、ウインカ操作が検出されていないと判定した場合には(S301:NO)、S110でいう特定の運転操作としてパッシング操作が検出されたか否かを判定する(S303)。パッシング操作が検出されたと判定した場合には(S303:YES)、パッシング操作が行われたことを通知する内容の音声(例えば、「パッシング操作を行いました」、「注意してください」等の音声)を送信音声情報に設定する(S304)。
そして、ウインカ操作が検出された場合(S301:YES)及びパッシング操作が検出された場合(S303:YES)のいずれにおいても、送信音声情報を「注意」に分類し、「注意」を表す分類情報を送信音声情報に付加するよう設定する(S305)。その後、操作音声決定処理を終了し、後述するS114(図5B)の処理に移行する。
一方、パッシング操作が検出されていないと判定した場合には(S303:NO)、S110でいう特定の運転操作として急ブレーキ操作が検出されたか否かを判定する(S306)。急ブレーキ操作が検出されたと判定した場合には(S306:YES)、急ブレーキ操作が行われたことを通知する内容の音声(例えば、「急ブレーキ操作を行いました」等の音声)を送信音声情報に設定する(S307)。そして、送信音声情報を「警告」
に分類し、「警告」を表す分類情報を送信音声情報に付加するよう設定する(S308)。その後、操作音声決定処理を終了し、後述するS114(図5B)の処理に移行する。なお、S110でいう特定の運転操作として急ブレーキ操作が検出されていないと判定した場合には(S306:NO)、S101(図5A)に戻る。
図5Aに戻り、前述したS110で特定の運転操作が行われていないと判定した場合には(S110:NO)、特定の状態が検出されたか否かを判定する(S112)。ここでいう特定の状態とは、ユーザが発声していない音声を送信音声情報として送信するトリガとしての状態である。特定の状態が検出されていないと判定した場合には(S112:NO)、音声発信処理を終了する。一方、特定の状態が検出されたと判定した場合には(S112:YES)、状態に応じた送信音声情報を決定する状態音声決定処理を実行する(S113)。
図8は、状態音声決定処理の一例を示すフローチャートである。この例では、ABSが作動した状態と、路面の段差などと車両の下面とが接触した状態又は接触する危険性の高い状態と、車両に対する強い横風が検出された状態と、車両が衝突又は転倒した状態と、がS112でいう特定の状態に該当する。
まず、ABSECU51から出力される通知信号に基づき、ABSが作動したか否かを判定する(S401)。ABSが作動したと判定した場合には(S401:YES)、ABSが作動したことを通知する内容の音声(例えば、「ABSが作動しました」、「スリップに注意してください」等の音声)を送信音声情報に設定する(S402)。
一方、ABSが作動していないと判定した場合には(S401:NO)、下面センサ57により、路面の段差などと車両の下面とが接触した状態又は接触する危険性の高い状態が検出されたか否かを判定する(S403)。そして、接触した状態又は接触する危険性の高い状態が検出されたと判定した場合には(S403:YES)、車両の下面を擦る危険性があることを通知する内容の音声(例えば、「車両の下面を擦る危険性があります」、「段差が存在します」等の音声)を送信音声情報に設定する(S404)。
一方、接触した状態又は接触する危険性の高い状態が検出されていないと判定した場合には(S403:NO)、横風センサ58により、車両に対する強い横風が検出されたか否かを判定する(S405)。そして、強い横風が検出されたと判定した場合には(S405:YES)、強い横風が検出されたことを通知する内容の音声(例えば、「横風に注意してください」等の音声)を送信音声情報に設定する(S406)。
そして、ABSが作動した場合(S401:YES)、路面の段差などと車両の下面とが接触した状態又は接触する危険性の高い状態が検出された場合(S403:YES)、及び、強い横風が検出された場合(S405:YES)、のいずれにおいても、送信音声情報を「注意」に分類し、「注意」を表す分類情報を送信音声情報に付加するよう設定する(S407)。その後、状態音声決定処理を終了し、後述するS114(図5B)の処理に移行する。
一方、強い横風が検出されていないと判定した場合には(S405:NO)、衝突/転倒センサ59により、車両が衝突又は転倒した状態(車両が事故を起こした可能性の高い状態)が検出されたか否かを判定する(S408)。車両が衝突又は転倒した状態が検出されたと判定した場合には(S408:YES)、車両が衝突又は転倒したことを通知する内容の音声(例えば「車両が衝突(又は転倒)しました」、「事故が発生しました」等の音声)を送信音声情報に設定する(S409)。そして、送信音声情報を「警告」に分類し、「警告」を表す分類情報を送信音声情報に付加するよう設定する(S410)。そ
の後、状態音声決定処理を終了し、後述するS114(図5B)の処理に移行する。なお、車両が衝突又は転倒した状態が検出されていないと判定した場合には(S408:NO)、S101(図5A)に戻る。
図5Bに戻り、S114では、ナビゲーション装置48に対して位置情報を要求することで位置情報を取得し、この位置情報を送信音声情報に付加するよう設定する。位置情報は、取得した時点でのナビゲーション装置48の現在地(換言すれば、車両の現在地、端末装置31〜33の現在地、ユーザの現在地)を、絶対位置(緯度や経度等)で表す情報である。特に、S114で取得した位置情報は、ユーザが音声を発した位置(発声位置)を表す。なお、発声位置は、ユーザが音声を発した位置を特定できるものであればよく、音声を入力するタイミングと位置情報を取得するタイミングとの時間差(車両の走行に伴う位置の変化)などの要因により、多少のばらつきが生じても構わない。
続いて、送信音声情報、緊急情報、位置情報、操作内容情報、分類情報及び後述する認証処理にて設定されるユーザのニックネームを含む情報を送信データとした音声パケットを生成する(S115)。そして、生成した音声パケットを通信相手の装置(サーバ10又は他の端末装置31〜33)に対して無線送信して(S116)、音声発信処理を終了する。つまり、ユーザの発した音声を表す送信音声情報を、緊急情報、位置情報(発声位置)、操作内容情報、分類情報及びニックネームが特定可能な形(対応付けられた状態)で送信する。なお、すべての音声パケットをサーバ10へ送信し、特定の音声パケット(例えば分類情報として「注意」又は「警告」が付加された送信音声情報を含むもの)については、直接通信可能な他の端末装置31〜33にも送信するようにしてもよい。
また、端末装置31〜33では、起動時やユーザによる特定の操作が入力された際に、図9に示す認証処理を実施する。認証処理は、音声入力を行うユーザを特定するための処理である。
認証処理では、図9に示すように、まず、ユーザの生体的特徴(例えば、指紋、網膜、掌、声紋等のうちのいずれか)を端末装置31〜33の入力部45を介して取得する(S501)。そして、あらかじめRAM等のメモリに登録されたユーザ名(ID)と生体的特徴とを対応付けたデータベースを参照することによってユーザを特定し、ユーザが設定したニックネームを音声に挿入するよう設定する(S502)。このような処理が終了すると、認証処理を終了する。
次に、音声配信処理について図10A−10Cに示すフローチャートを用いて説明する。音声配信処理は、サーバ10が端末装置31〜33から送信された音声パケットに対して所定の操作(処理)を行い、操作後の音声パケットを他の端末装置31〜33に対して配信する処理である。
詳細には、図10A−10Cに示すように、まず、端末装置31〜33から送信された音声パケットを受信したか否かを判定する(S701)。音声パケットを受信していなければ(S701:NO)、後述するS725の処理に移行する。
また、音声パケットを受信していれば(S701:YES)、この音声パケットを取得し(S702)、名前/ニックネームDBを参照することで音声パケットにニックネームを付加する(S703)。この処理では、ユーザによって入力された音声パケットに、ユーザを識別するための識別情報であるニックネームを音声で付加した新たな音声パケットを生成する。このとき、ユーザが入力した音声とニックネームとが重複しないように、ニックネームはユーザが入力した音声の前又は後に付加する。
続いて、新たな音声パケットに含まれる音声情報の表す音声を文字に変換する(S704)。この処理では、音声を他のユーザが読み取り可能な文字に変換する周知の処理を利用する。この際、位置情報、操作内容情報等についても同様に文字データに変換する。なお、音声パケットの送信元の端末装置31〜33で、音声から文字への変換処理を行う場合には、その変換処理によって得られた文字データを端末装置31〜33から取得することで、サーバ10における変換処理を省略(又は簡略化)してもよい。
次いで、音声(又は変換した文字データ)中の名前(人名)を抽出し、名前があるか否かを判定する(S705)。なお、音声パケットに緊急情報が含まれている場合には、S705から後述するS720までの処理を省略し、後述するS721の処理に移行する。
音声中に名前がなければ(S705:NO)、後述するS709の処理に移行する。また、音声中に名前があれば(S705:YES)、名前/ニックネームDBにこの名前が存在するか否かを判定する(S706)。名前/ニックネームDBに音声中の名前が存在すれば(S706:YES)、この名前を対応するニックネームに音声で置換(文字データにおいては名前をニックネームに文字で置換)し(S707)、S709の処理に移行する。
また、名前/ニックネームDBに音声中の名前が存在しなければ(S706:NO)、名前を「ピー」という音に置換(文字データにおいては名前を「***」等の別の文字に置換)し(S708)、S709の処理に移行する。
続いて、音声(又は変換した文字データ)中のあらかじめ設定された禁止ワードを抽出する(S709)。禁止ワードは、一般的に下品、卑猥等、聞く人を不愉快にさせる虞がある単語が禁止ワードDBに登録されており、この処理では音声(又は変換した文字データ)中の単語と禁止ワードDB内の禁止ワードとを照合することで禁止ワードを抽出する。
禁止ワードについては、「ブー」という音に置換(文字データにおいては名前を「×××」等の別の文字に置換)する(S710)。続いて、抑揚チェック及び丁寧表現チェックを実施する(S711,S712)。
これらの処理では、ユーザが音声を入力する際の感情や丁寧な話し方であるか等を、マイク52への入力レベルの振幅(絶対値や変化率)や音声に含まれている丁寧表現を音声情報から検出することで判断し、感情が高ぶっていたり、丁寧な話し方でなかったりする状況であるか否かを検出する。
チェックの結果、入力された音声が通常の感情であり、かつ丁寧な話し方であれば(S713:YES)、直ちに後述するS715の処理に移行する。また、チェックの結果、入力された音声について、感情が高ぶっていたり、丁寧な話し方でなかったりすれば(S713:NO)、この音声パケットの配信を禁止する旨を示す、音声配信禁止フラグをセットし(S714)、S715の処理に移行する。
続いて、該当する音声パケットを送信した端末装置31〜33の挙動を、位置情報を追跡することで特定し、端末装置31〜33の挙動が幹線道路から脇道にそれるか、又は、一定時間(例えば、5分程度)以上停止したか否かを判定する(S715)。
端末装置31〜33の挙動が幹線道路から脇道にそれるか停止していれば(S715:YES)、休憩しているものとして休憩フラグをセットし(S716)、S717の処理に移行する。また、端末装置31〜33の挙動が幹線道路から脇道にそれる、又は、停止
することに該当しなければ(S715:NO)、直ちにS717の処理に移行する。
そして、あらかじめ設定された端末装置(例えば、電源が投入されているすべての端末装置、設定に基づき抽出される一部の端末装置、等)を通信相手として設定し(S717)、また、音声入力元の端末装置31〜33に対して失言の結果(名前や禁止ワードの有無の結果や、抑揚チェック、丁寧表現チェックの結果等)を通知する(S718)。
続いて、配信を行う端末装置31〜33(配信先車両)の位置が特定の位置を通過したか否かを判定する(S719)。ここで、サーバ10においては、複数の広告が広告DBに登録されており、この広告DBでは、広告ごとに広告を配信する領域が設定されている。この処理では、広告(CM)を配信する領域に端末装置31〜33が進入したことを検出している。
配信先車両が特定の位置を通過していれば(S719:YES)、特定の位置に対応する広告をこの端末装置31〜33に送信する音声パケットに付加する(S720)。また、配信先車両が特定の位置を通過していなければ(S719:NO)、S721の処理に移行する。
続いて、配信すべき音声パケットが複数あるか否かを判定する(S721)。音声パケットが複数ある場合には(S721:YES)、音声パケットが重複しないように整列させ(S722)、S723の処理に移行する。なお、この処理の際には、緊急情報の再生順位が先になるように優先して整列され、休憩フラグがセットされた音声パケットは順序が後になるように整列される。
また、音声パケットが1つである場合には(S721:NO)、直ちにS723の処理に移行する。続いて、既に音声パケットを送信中であるか否かを判定する(S723)。
音声パケットの送信中であれば(S723:YES)、送信しようとする音声パケットを送信中のパケットの後で送信するよう設定し(S724)、S726の処理に移行する。また、音声パケットの送信中でなければ(S723:NO)、直ちにS726の処理に移行する。
ところで、S725の処理では、送信する音声パケットがあるか否かを判定する(S725)。音声パケットがあれば(S725:YES)、送信すべき音声パケットの送信を行い(S726)、音声配信処理を終了する。また、音声パケットがなければ(S726:NO)、音声配信処理を終了する。
次に、端末装置31〜33のCPU41が音声の再生を行う音声再生処理について図11A及び11Bに示すフローチャートを用いて説明する。音声再生処理では、図11A及び11Bに示すように、まず、他の端末装置31〜33やサーバ10等の他の装置からパケットを受信したか否かを判定する(S801)。パケットを受信していなければ(S801:NO)、音声再生処理を終了する。
また、パケットを受信していれば(S801:YES)、このパケットが音声パケットであるか否かを判定する(S802)。音声パケットでなければ(S802:NO)、後述するS812の処理に移行する。
また、音声パケットであれば(S802:YES)、現在再生中の音声情報について再生を停止し、再生中であった音声情報を消去する(S803)。そして、配信禁止フラグがセットされているか否かを判定する(S804)。配信禁止フラグがセットされていれば(S804:YES)、音声再生を禁止する旨を示す音声メッセージ(ROM等のメモ
リにあらかじめ記録されているもの)を生成するとともに、この音声メッセージに対応する文字メッセージを生成する(S805)。
続いて、音声を聞き取りやすくするために、オーディオ装置50により再生されている音楽等の再生音量をオフにする(S806)。なお、再生音量を低下させてもよく、また、再生自体を停止させてもよい。
続いて、再生される音声の配信元に対応する端末装置31〜33の位置(発声位置)と、自身の端末装置31〜33の位置(現在地)と、の位置関係に応じて、音声をスピーカ53から再生する際に出力される音量を設定するスピーカ設定処理を実施し(S807)、設定された音量でS805の処理にて生成された音声メッセージを再生(再生を開始)する(S808)。この際、文字メッセージを含む文字データをナビゲーション装置48のディスプレイに出力し表示させる(S812)。
なお、この処理において表示される文字データとしては、音声パケットに含まれる音声情報の表す音声の内容を示す文字データ、ユーザによる操作内容を示す文字データ及び音声メッセージが含まれる。
また、S804の処理にて、配信禁止フラグがセットされていなければ(S804:NO)、前述したS806と同様、オーディオ装置50により再生されている音楽等の再生音量をオフにする(S809)。さらに、スピーカ設定処理を実施し(S810)、音声パケットに含まれる音声情報の表す音声を再生し(S811)、S812の処理に移行する。音声情報の表す音声は合成音声であるため、再生態様を容易に変更することができる。例えば、再生スピードの調整、言葉に含まれる感情成分の抑制、音調の調整、声色の調整など、ユーザ操作に基づき又は自動的に変更することができる。
なお、S811の処理では、整列された音声パケットに含まれる音声情報の表す音声を順に再生するので、音声パケットが重複することはないことを前提としているが、複数のサーバ10から音声パケットを受信する場合のように、音声パケットが重複する虞がある場合には、前述のS722の処理(音声パケットを整列させる処理)を実施するようにすればよい。
続いて、コマンドを表す音声がユーザにより入力されたか否かを判定する(S813)。本実施形態では、音声の再生中に、再生中の音声を飛ばすコマンドを表す音声(例えば「カット」という音声)が入力されると(S813:YES)、現在再生中の音声情報を所定の単位で飛ばして、次の音声情報を再生する(S814)。つまり、聞きたくない音声を、音声操作によりスキップして再生することができる。ここでいう所定の単位は、例えば発言(コメント)単位としてもよく、また、発言者単位としてもよい。受信したすべての音声情報について音声の再生が終了すると(S815:YES)、オーディオ装置50により再生されている音楽等の再生音量をオンに戻して(S816)、音声再生処理を終了する。
次に、S807及びS810で実行されるスピーカ設定処理の詳細について、図12を用いて説明する。図12は音声再生処理のうちのスピーカ設定処理を示すフローチャートである。スピーカ設定処理では、図12に示すように、まず、自車両位置を示す位置情報(過去の位置情報を含む)をナビゲーション装置48から取得する(S901)。
続いて、再生対象となる音声パケットに含まれる位置情報(発声位置)を抽出し(S902)、自車両の移動ベクトルに対する他の端末装置31〜33の位置(距離)を検出する(S903)。この処理においては、自身の端末装置31〜33(車両)の進行方向を
基準としたときの再生する音声パケットの送信元の端末装置が位置する方位と、この端末装置までの距離とを検出する。
続いて、音声パケットの送信元の端末装置が位置する方位に応じて、スピーカの音量比を調整する(S904)。この処理では、送信元の端末装置が位置する方位から音声が聞こえるように、この端末装置が存在する方位に位置するスピーカの音量を最も大きくなるように音量の比率を設定する。
そして、音声パケットの送信元の端末装置までの距離に応じて最も音量比が大きなスピーカに対する音量の最大値を設定する(S905)。この処理によって他のスピーカに対する音量についても音量比に基づいて設定できる。このような処理が終了すると、スピーカ設定処理を終了する。
次に、モード移行処理について説明する。図13は、端末装置31〜33のCPU41が実行するモード移行処理を示すフローチャートである。モード移行処理は、通信相手を不特定多数とする配信モードと、特定の相手を通信相手とする対話モードとを切り替えるための処理であり、端末装置31〜33の電源が投入されると開始され、その後繰り返し実施される。
詳細には、図13に示すように、まず、現在の設定モードが対話モードであるか配信モードであるかを判定する(S1001,S1004)。設定モードが対話モードでも配信モードでもなければ(S1001:NO,S1004:NO)、S1001の処理に戻る。
また、設定モードが対話モードであれば(S1001:YES)、入力部45を介してモード移行操作があったか否かを判定する(S1002)。モード移行操作がなければ(S1002:NO)、モード移行処理を終了する。
モード移行操作があれば(S1002:YES)、配信モードに移行する(S1003)。この際、サーバ10に対して通信相手を不特定多数に設定するよう通知し、サーバ10がこの通知を受けて、この端末装置31〜33に対する通信相手の設定(通信相手DBの記述)を変更する。
また、設定モードが配信モードであれば(S1001:NO,S1004:YES)、入力部45を介してモード移行操作があったか否かを判定する(S1005)。モード移行操作がなければ(S1005:NO)、モード移行処理を終了する。
モード移行操作があれば(S1005:YES)、音声パケットを再生中の相手に対話要求を送信する(S1006)。詳細には、サーバ10に対して音声パケット(の送信元の端末装置)を指定して対話要求を送信すると、サーバ10は対応する端末装置に対話要求を送信する。そしてサーバ10は、この端末装置から対話要求に対する回答を受け、対話要求元の端末装置31〜33に回答を送る。
端末装置31〜33では、対話要求を受け入れる旨の回答があれば(S1007:YES)、対話要求を受け入れた端末装置を通信相手とする対話モードに移行する(S1008)。この際、サーバ10に対して通信相手を特定の端末装置に設定するよう端末装置を指定して通知し、サーバ10がこの通知を受けて通信相手の設定を変更する。
また、対話要求を受け入れる旨の回答がなければ(S1007:NO)、モード移行処理を終了する。
次に、図14は、端末装置31〜33のCPU41が実行する再再生処理を示すフローチャートである。再再生処理は、音声パケットに含まれる音声情報の表す音声の再生中に、繰り返し再生を行う旨の再再生操作が入力されると開始される割り込み処理である。この処理は、音声再生処理を中断して実施される。
再再生処理では、図14に示すように、まず、指定の音声パケットを選択する(S1011)。この処理では、再生中の音声パケット又は再生直後の音声パケット(再生終了後基準時間(例えば3秒)以内)を現在再生中の音声パケットの再生開始後の時間に応じて選択する。
続いて、選択された音声パケットを最初から再生し(S1012)、再再生処理を終了する。この処理が終了すると、音声再生処理を再開する。
ところで、サーバ10は、端末装置31〜33から送信された音声パケットを受信して音声情報を蓄積し、端末装置31〜33から要求を受けた場合に、蓄積している音声情報の中から要求元の端末装置31〜33に応じた音声情報を抽出し、抽出した音声情報を送信してもよい。
図15は、サーバ10のCPU11が実行する蓄積処理を示すフローチャートである。蓄積処理は、前述した音声発信処理(図5A及び5B)で端末装置31〜33から送信された音声パケットを蓄積(記憶)するための処理である。なお、蓄積処理は、前述した音声配信処理(図10A−10C)に代えて実施してもよく、また、音声配信処理とともに(例えば並行して)実施してもよい。
蓄積処理では、まず、端末装置31〜33から送信された音声パケットを受信したか否かを判定する(S1101)。音声パケットを受信していなければ(S1101:NO)、蓄積処理を終了する。
音声パケットを受信した場合には(S1101:YES)、受信した音声パケットをデータベース14に蓄積する(S1102)。具体的には、音声パケットに含まれる各種情報(音声情報、緊急情報、位置情報、操作内容情報、分類情報、ユーザのニックネーム、等)に基づいて、音声情報が検索できる形で蓄積する。その後、蓄積処理を終了する。なお、所定の消去条件を満たす音声情報(例えば、古い音声情報、解約ユーザの音声情報、等)はデータベース14から消去するようにしてもよい。
図16は、端末装置31〜33のCPU41が実行する要求処理を示すフローチャートである。要求処理は、所定時間(例えば数十秒や数分)ごとに実行される。
要求処理では、まず、ナビゲーション装置48によりルート案内の処理が実行されている(換言すれば、目的地までの案内ルートが設定されている)か否かを判定する(S1201)。ルート案内の処理が実行されていると判定した場合には(S1201:YES)、ナビゲーション装置48から、自車両位置を示す位置情報(現在の位置情報)と、案内ルートの情報(目的地及び目的地に至る経路の情報)と、を車両位置情報として取得する(S1202)。その後、S1206に移行する。なお、車両位置情報とは、後述する周辺エリアをサーバ10に設定させるための情報である。
一方、ルート案内の処理が実行されていないと判定した場合には(S1201:NO)、車両が走行中であるか否かを判定する(S1203)。具体的には、車両の走行速度が判定基準値を上回る場合に、走行中であると判定する。この判定基準値は、一般的な右左折時の速度(直進走行と比較して低い速度)よりも高い値となるように設定されている。このため、走行中であると判定された場合には、車両の進行方向が大きく変化しない可能性が高い。換言すれば、S1203では、車両の位置情報の変化に基づき進行方向が予測
しやすい走行状態であるか否かを判定する。ただし、これに限定されるものではなく、例えば、0又は0に近い値を判定基準値に設定してもよい。
車両が走行中であると判定した場合には(S1203:YES)、ナビゲーション装置48から、自車両位置を示す位置情報(現在の位置情報)と、1つ以上の過去の位置情報と、を車両位置情報として取得する(S1204)。その後、S1206に移行する。なお、過去の位置情報を複数取得する場合は、例えば、5秒前の位置情報、10秒前の位置情報、というように、時間間隔が等しい位置情報を取得してもよい。
一方、車両が走行中でないと判定した場合には(S1203:NO)、ナビゲーション装置48から、自車両位置を示す位置情報(現在の位置情報)を車両位置情報として取得する(S1205)。その後、S1206に移行する。
続いて、お気に入り情報を取得する(S1206)。お気に入り情報は、多数の音声情報の中からユーザが必要とする音声情報を抽出(検索)するために用いることのできる情報であり、ユーザにより手動で又は自動的に(例えば、ユーザの発言などから嗜好を解析して)設定される。例えば、特定のユーザ(例えば、あらかじめ指定しておいたユーザ)がお気に入り情報として設定されると、その特定のユーザにより発信された音声情報が優先して抽出される。同様に、例えば、特定のキーワードがお気に入り情報として設定されると、その特定のキーワードを含む音声情報が優先して抽出される。なお、このS1206の処理では、既に設定されているお気に入り情報を取得してもよく、また、この段階でユーザに設定させてもよい。
続いて、要求する音声情報の種類(ジャンル)を取得する(S1207)。ここでいう種類とは、前述したS109等の処理で分類した種類(本実施形態では「通常」、「注意」及び「警告」)である。
続いて、車両位置情報と、お気に入り情報と、音声情報の種類と、自身(端末装置31〜33)のID(サーバ10が返信先を特定するための情報)と、を含む情報要求を、サーバ10へ送信する(S1208)。その後、要求処理を終了する。
図17A及び17Bは、サーバ10のCPU11が実行する応答処理を示すフローチャートである。応答処理は、前述した要求処理(図16)で端末装置31〜33から送信された情報要求に対して応答するための処理である。なお、応答処理は、前述した音声配信処理(図10A−10C)に代えて実施してもよく、また、音声配信処理とともに(例えば並行して)実施してもよい。
応答処理では、まず、端末装置31〜33から送信された情報要求を受信したか否かを判定する(S1301)。情報要求を受信していなければ(S1301:NO)、応答処理を終了する。
情報要求を受信した場合には(S1301:YES)、受信した情報要求に含まれる車両位置情報に応じた周辺エリアを設定する(S1302〜S1306)。本実施形態では、前述したように(S1201〜S1205,S1208)、(P1)自車両位置を示す位置情報、(P2)自車両位置を示す位置情報及び1つ以上の過去の位置情報、(P3)自車両位置を示す位置情報及び案内ルートの情報、のうちのいずれかが、車両位置情報として提供される。
受信した情報要求に含まれる車両位置情報が、(P1)自車両位置を示す位置情報、であると判定した場合には(S1302:YES)、図18に例示するように、自車両位置
(車両の現在地)Cから所定距離L1以内のエリアA1を周辺エリアに設定する(S1303)。その後、S1307に移行する。なお、図18において、縦横の線は、車両が走行可能な道路を示し、“×”は、サーバ10に蓄積されている音声情報の発声位置を示す。
一方、受信した情報要求に含まれる車両位置情報が、(P2)自車両位置を示す位置情報及び1つ以上の過去の位置情報、であると判定した場合には(S1302:NO,S1304:YES)、図19に例示するように、自車両位置(車両の現在地)Cよりも進行方向側(図19における右側)にずれた基準位置Cbから所定距離L2以内のエリアA2を周辺エリアに設定する(S1305)。その後、S1307に移行する。
具体的には、車両の進行方向は、現在の位置情報Cと過去の位置情報Cpとの位置関係に基づいて推測する。なお、現在地Cから基準位置Cbまでの距離は、エリアの半径L2よりも大きくしてもよい。つまり、現在地Cを含まないエリアA2を周辺エリアに設定してもよい。
一方、受信した情報要求に含まれる車両位置情報が、(P3)自車両位置を示す位置情報及び案内ルートの情報、であると判定した場合には(S1304:NO)、走行予定経路に沿ったエリアを周辺エリアに設定する(S1306)。その後、S1307に移行する。
具体的には、例えば図20に示すように、出発地Sから目的地Gに至る走行予定経路(太線部分)のうち、現在地Cから目的地Gに至る経路に沿ったエリア(経路上と判定されるエリア)A3を、周辺エリアに設定する。ここで、経路に沿ったエリアは、例えば、経路からの距離が所定距離L3以内の範囲として設定してもよい。この場合、道路属性(例えば道路の幅や種類など)に応じてL3の値を変更してもよい。また、目的地Gまでの範囲ではなく、現在地Cから所定距離L4以内の範囲としてもよい。また、ここでは走行済みの経路(出発地Sから現在地Cに至る経路)を除外しているが、これに限定されるものではなく、走行済みの経路も含めるようにしてもよい。
続いて、データベース14に蓄積されている音声情報の中から、発声位置が周辺エリア内の音声情報を抽出する(S1307)。図18〜図20の例では、発声位置が周辺エリア(破線で囲まれた領域)A1,A2,A3内の音声情報が抽出される。
続いて、S1307で抽出された音声情報の中から、受信した情報要求に含まれる音声情報の種類に対応する音声情報を抽出する(S1308)。さらに、S1308で抽出された音声情報の中から、受信した情報要求に含まれるお気に入り情報に対応する音声情報を抽出する(S1309)。
以上の処理(S1302〜S1309)により、端末装置31〜33から受信した情報要求に応じた音声情報を、その情報要求の送信元の端末装置31〜33へ送信すべき送信候補の音声情報として抽出する。
続いて、送信候補の音声情報のそれぞれについて、音声の内容を解析する(S1310)。具体的には、音声情報の表す音声をテキスト(文字データ)に変換し、変換後のテキストに含まれるキーワードを抽出する。なお、音声情報の内容を表すテキスト(文字データ)をその音声情報ともにデータベース14に記憶しておき、記憶されている情報を利用するようにしてもよい。
続いて、送信候補の音声情報のそれぞれについて、他の音声情報と内容が重複するか否
かを判定する(S1311)。例えば、ある音声情報Aに含まれるキーワードと、別の音声情報Bに含まれるキーワードと、が所定割合以上(例えば半数以上)一致する場合に、音声情報A,Bの内容が重複すると判定する。なお、単にキーワードの割合で判定するのではなく、文脈等に基づき内容の重複を判定してもよい。
そして、送信候補の音声情報のすべてについて、他の音声情報と内容が重複しないと判定した場合には(S1311:NO)、S1313へ移行して、送信候補の音声情報を、情報要求の送信元の端末装置31〜33へ送信し(S1313)、応答処理を終了する。なお、送信先の端末装置31〜33ごとに、送信済みの音声情報を記憶しておき、既に送信した音声情報については送信しないようにしてもよい。
一方、送信候補の音声情報の中に、他の音声情報と内容が重複する音声情報が存在すると判定した場合には(S1311:YES)。内容が重複する複数の音声情報のうち、送信候補の音声情報として残す1つの音声情報以外を、送信候補の音声情報から除外することで、内容の重複を解消する(S1312)。例えば、内容が重複する複数の音声情報のうち、最も新しい音声情報を残してもよく、逆に、最も古い音声情報を残してもよい。また例えば、音声情報に含まれるキーワードが最も多いものを残してもよい。その後、送信候補の音声情報を、情報要求の送信元の端末装置31〜33へ送信し(S1313)、応答処理を終了する。
なお、サーバ10から端末装置31〜33へ送信された音声情報は、前述した音声再生処理(図11A及び11B)で再生される。端末装置31〜33は、既に受信済みの音声パケットの表す音声の再生中に、新たな音声パケットを受信した場合には、新たに受信した音声パケットの表す音声を優先して再生する。また、古い音声パケットの表す音声は再生せずに消去する。その結果、車両の位置に応じた音声情報の表す音声が優先して再生される。
[本実施形態による効果]
以上説明したように、本実施形態によれば、以下の効果が得られる。
(1)端末装置31〜33は、車両において、ユーザが発した音声を入力するとともに(S102)、位置情報(現在地)を取得する(S114)。そして、端末装置31〜33は、入力された音声を表す音声情報を、その音声の入力時に取得された位置情報(発声位置)が特定可能な形で、複数の端末装置31〜33で共用されるサーバ10へ送信する(S116)。また、端末装置31〜33は、他の端末装置31〜33からサーバ10へ送信された音声情報をサーバ10から受信し、受信した音声情報の表す音声を再生する(S811)。具体的には、端末装置31〜33は、他の端末装置31〜33からサーバ10へ送信された音声情報のうち、その発声位置が、現在地を基準に設定される周辺エリア内(S1303,S1305,S1306)に位置する音声情報の表す音声を再生する。
ある場所でユーザが発した音声は、その場所に存在する(又はその場所へ向かう)他のユーザにとって、有用である場合が多い。特に、車両に乗車したユーザの位置は、車両に乗車していないユーザと比較して、時間の経過(車両の走行)に伴い大きく変化し得る。したがって、車両に乗車するユーザにとって、現在地を基準とする周辺エリア内で発せられた他のユーザの音声は、有用な情報となり得る。
この点、本実施形態では、ある端末装置31のユーザは、他の端末装置32,33(他の車両)のユーザが発した音声のうち、端末装置31の現在地を基準に設定される周辺エリア内で発せされた音声を聞くことができる。したがって、本実施形態によれば、車両に乗車したユーザに対して有用な情報を提供することができる。
周辺エリア内で発生された音声は、リアルタイムな音声に限らず、過去の(例えば数時間前に発せられた)音声も含まれ得るが、このような音声は、周辺エリア外(例えば遠方の場所)で発せられたリアルタイムな音声と比較して、有用な情報となり得る。例えば、道路における特定の地点で車線規制等が行われている場合、その情報をあるユーザがつぶやくことで、その地点へ向かう別のユーザは、その地点を回避するという選択を行うことができる。また例えば、道路における特定の地点から見る景色が素晴らしい場合、その情報をあるユーザがつぶやくことで、その地点へ向かう別のユーザは、その景色を見逃さないようにすることができる。
(2)端末装置31〜33からサーバ10へ、車両位置情報として、車両の現在の位置情報に加え、過去の位置情報又は走行予定経路(進行予定経路)の情報が送信された場合、周辺エリアは、車両の現在地に対して進行方向側に偏りを持つエリアに設定される(図19、図20)。このため、既に通過した場所で発せられた音声を再生対象から減らして、これから向かう場所で発せられた音声を増やすことができる。その結果、情報の有用性を高くすることができる。
(3)周辺エリアが、走行予定経路に沿ったエリアに設定された場合には、走行予定経路に沿ったエリア以外で発せられた音声を除外することができるため、情報の有用性を更に向上させることができる。
(4)端末装置31〜33は、所定時間ごとに車両位置情報を自動的に取得し(S1202,S1204,S1205)、サーバ10へ送信することで(S1208)、車両の現在地に応じた音声情報を取得する。このため、車両の走行に伴い位置が変化しても、その位置に応じた音声情報を取得することができる。特に、端末装置31〜33は、サーバ10から新たな音声情報を受信した場合に、受信済みの音声情報を消去して(S803)、新たな音声情報を再生する(S811)。つまり、所定時間ごとに、音声を再生すべき音声情報を、最新の車両位置情報に応じた音声情報に更新する。したがって、再生される音声を、車両の走行に伴う位置の変化に追従させることができる。
(5)端末装置31〜33は、車両の現在地を含む車両位置情報等をサーバ10へ送信することで(S1208)、現在地等に応じた音声情報をサーバ10に抽出させ(S1302〜S1312)、サーバ10から受信した音声情報の表す音声を再生する(S811)。このため、端末装置31〜33で音声情報を抽出する構成と比較して、サーバ10から受信する音声情報の量を減らすことができる。
(6)端末装置31〜33は、ユーザの発した音声を入力し(S102)、入力した音声を合成音声に変換する(S107)。このように合成音声に変換してから再生することで、音声をそのまま再生する場合と比較して、再生態様を変更しやすくすることができる。例えば、再生スピードの調整、言葉に含まれる感情成分の抑制、音調の調整、声色の調整、などの変更を容易に行うことができる。
(7)端末装置31〜33は、音声の再生中に、コマンドを表す音声が入力された場合に、そのコマンドに応じて音声の再生態様を変更する。具体的には、再生中の音声を飛ばすコマンドを表す音声が入力された場合に(S813:YES)、再生中の音声を所定の単位で飛ばして再生する(S814)。このため、聞きたくない音声を、例えば発言(コメント)単位や、発言者単位など、所定の単位で飛ばして再生することができる。
(8)サーバ10は、送信候補の音声情報のそれぞれについて、他の音声情報と内容が重複するか否かを判定し(S1311)、重複すると判定した場合には(S1311:YES)、重複する内容の音声情報を削除する(S1312)。例えば、ある場所で発生し
た事故についての発言などのように、同じ事象に対して複数のユーザが同様の発言をした場合には、同様の発言が繰り返し再生される現象が生じやすくなる。この点、本実施形態によれば、内容の重複する音声の再生が省略されるため、同様の発言が繰り返し再生される現象を生じにくくすることができる。
(9)サーバ10は、送信候補の音声情報の中から、お気に入り情報に対応する音声情報を抽出して(S1309)、端末装置31〜33へ送信する(S1313)。このため、他の多数のユーザにより送信される大量の音声情報の中から、ユーザが必要とする(ユーザに応じた優先条件を満たす)音声情報を効率よく抽出して優先的に再生することができる。
(10)端末装置31〜33は、車両に搭載されたオーディオ装置と通信可能に構成され、音声の再生中におけるオーディオ装置の音量を、音声を再生する前の音量と比較して、低くする(S806)。このため、音声を聞き取りやすくすることができる。
(11)端末装置31〜33は、車両において、車両に関する特定のイベントが発生したことを検出する(S110,S112)。そして、端末装置31〜33は、特定のイベントが発生したことを検出した場合に(S110:YES又はS112:YES)、特定のイベントに対応する音声を表す音声情報を、他の端末装置31〜33又はサーバ10へ送信する(S116)。また、端末装置31〜33は、他の端末装置31〜33又はサーバ10から音声情報を受信し、受信した音声情報の表す音声を再生する(S811)。
本実施形態によれば、ある端末装置31のユーザは、他の端末装置32,33(他の車両)から送信された、車両に関する特定のイベントに対応する音声を聞くことができる。したがって、端末装置31〜33のユーザは、他の車両の状態を、運転しながら把握することができる。
(12)端末装置31〜33は、車両のユーザにより特定の運転操作が行われたことを、特定のイベントとして検出する(S301,S303,S306)。そして、端末装置31〜33は、特定の運転操作を検出した場合に(S301:YES、S303:YES又はS306:YES)、特定の運転操作が行われたことを通知する内容の音声を表す音声情報を送信する(S302,S304,S307,S116)。このため、端末装置31〜33のユーザは、他の車両において特定の運転操作が行われたことを、運転しながら把握することができる。
(13)端末装置31〜33は、急ブレーキ操作を検出した場合に(S306:YES)、急ブレーキ操作が行われたことを通知する内容の音声を表す音声情報を送信する(S307)。このため、端末装置31〜33のユーザは、他の車両において急ブレーキ操作が行われたことを、運転しながら把握することができる。したがって、目視だけで他の車両の状態を確認する場合と比較して、安全な走行を実現することができる。
(14)端末装置31〜33は、パッシング操作を検出した場合に(S303:YES)、パッシング操作が行われたことを通知する内容の音声を表す音声情報を送信する(S304)。このため、端末装置31〜33のユーザは、他の車両においてパッシング操作が行われたことを、運転しながら把握することができる。したがって、目視だけで他の車両の状態を確認する場合と比較して、他の車両からの合図を把握しやすくすることができる。
(15)端末装置31〜33は、ウインカ操作を検出した場合に(S301:YES)、ウインカ操作が行われたことを通知する内容の音声を表す音声情報を送信する(S30
2)。このため、端末装置31〜33のユーザは、他の車両においてウインカ操作が行われたことを、運転しながら把握することができる。したがって、目視だけで他の車両の状態を確認する場合と比較して、他の車両の動きを予測しやすくすることができる。
(16)端末装置31〜33は、車両に関する特定の状態を特定のイベントとして検出する(S401,S403,S405,S408)。そして、端末装置31〜33は、特定の状態を検出した場合に(S401:YES、S403:YES、S405:YES又はS408:YES)、特定の状態が検出されたことを通知する内容の音声を表す音声情報を送信する(S402,S404,S406,S409,S116)。このため、端末装置31〜33のユーザは、他の車両において特定の状態が検出されたことを、運転しながら把握することができる。
(17)端末装置31〜33は、ABSの作動を検出した場合に(S401:YES)、ABSが作動したことを通知する内容の音声を表す音声情報を送信する(S402)。このため、端末装置31〜33のユーザは、他の車両においてABSが作動したことを、運転しながら把握することができる。したがって、路面の状況を目視だけで確認する場合と比較して、スリップしやすい状況を予測しやすくすることができる。
(18)端末装置31〜33は、路面の段差などと車両の下面とが接触した状態又は接触する危険性の高い状態を検出した場合に(S403:YES)、車両の下面を擦る危険性があることを通知する内容の音声を表す音声情報を送信する(S404)。このため、路面の状況を目視だけで確認する場合と比較して、車両の下面を擦る危険性が高い状況を予測しやすくすることができる。
(19)端末装置31〜33は、車両が横風を受けている状態を検出した場合に(S405:YES)、車両が横風を受けていることを通知する内容の音声を表す音声情報を送信する(S406)。このため、車外の状況を目視だけで確認する場合と比較して、横風の影響を受けやすい状況を予測しやすくすることができる。
(20)端末装置31〜33は、車両が転落又は衝突した状態を検出した場合に(S408:YES)、車両が転落又は衝突したことを通知する内容の音声を表す音声情報を送信する(S409)。このため、端末装置31〜33のユーザは、他の車両が転落又は衝突したことを、運転しながら把握することができる。したがって、目視だけで他の車両の状態を確認する場合と比較して、安全な走行を実現することができる。
(21)その他、以下のような効果も得られる。
以上のように詳述した通信システム1は、互いに通信可能な複数の端末装置31〜33を備えており、また、複数の端末装置31〜33のそれぞれと通信可能なサーバ10とを備えている。各端末装置31〜33のCPU41は、ユーザが音声を入力すると該音声を音声情報に変換し、音声情報を他の端末装置31〜33を含む装置に送信する。
そして、CPU41は他の端末装置31〜33にて送信された音声情報を受信し、受信した音声情報を再生する。また、サーバ10は、複数の端末装置31〜33から送信された音声情報を受信し、各音声情報に対応する音声が重複しないように整列させてから複数の端末装置31〜33に対して音声情報を配信する。
このような通信システム1によれば、音声で発信内容を入力し、音声で他の端末装置31〜33からの発信内容を再生することができるので、運転中のユーザであってもつぶやきたい内容等の発信内容を安全に送受信することができる。また、このような通信システム1では、音声を再生する際に、音声が重複しないように再生することができるので、音
声を聞きやすくすることができる。
また、上記通信システム1においてCPU41は、ユーザによる特定の指令を受けると、既に再生した音声情報を再度再生する。特に、直前に再生した音声情報を再生してもよい。このような通信システム1によれば、騒音等によって聞き取れなかった音声情報をユーザの指令により再度再生することができる。
さらに、上記通信システム1において、端末装置31〜33は車両に搭載されており、端末装置31〜33のCPU41は、車両のハンドル上にあるユーザの手の動きを検出するタッチパネル61,62と、タッチパネル61,62により音声の入力を開始する開始特定動作を検出した場合に、音声パケットを生成する処理を開始させ、タッチパネル61,62により音声の入力を終了する終了特定動作を検出した場合に、音声パケットを生成する処理を終了させる。このような通信システム1によれば、音声を入力するための操作をハンドル上で行うことができる。よって、車両の運転中のユーザがより安全に音声を入力することができる。
また、上記通信システム1においてCPU41は、タッチパネル61,62を介して入力される開始特定動作及び終了特定動作を、クラクションを操作する際の操作方向とは異なる方向の手の動きとして検出する。このような通信システム1によれば、開始特定動作又は終了特定動作の際に、クラクションが鳴らされることを抑制することができる。
また、上記通信システム1においてサーバ10は、ユーザによって入力された音声情報に、該ユーザを識別するための識別情報を音声で付加した新たな音声情報を生成し、該生成した音声情報を配信する。このような通信システム1では、ユーザを識別するための識別情報を音声で付加することができるので、ユーザは自身の識別情報を話すことなく、他のユーザに音声発信元のユーザを通知することができる。
さらに、上記通信システム1においてサーバ10は、音声情報の再生前に、音声情報から該音声情報に含まれるあらかじめ設定されたキーワードを抽出し、音声情報に含まれるキーワードを別の単語の音声又はあらかじめ設定された音に置き換える。このような通信システム1によれば、配信するには好ましくない単語(卑猥な単語や人名を示す単語、野蛮な単語等)をキーワードに登録し、配信してもよい単語や音に置換して配信を行うことができる。
また、上記通信システム1において各端末装置31〜33のCPU41は、自身の位置情報を取得し、該位置情報を自身の端末装置31〜33から送信する音声情報に対応付けて他の端末装置31〜33に対して送信し、他の端末装置31〜33にて送信された位置情報を取得する。そして、再生される音声に対応する端末装置31〜33の位置と自身の端末装置31〜33の位置との位置関係に応じて、音声を再生する際に出力される音量を制御する。
特に、CPU41は、他の端末装置31〜33までの距離が遠くなるに従って音量が小さくなるように制御し、かつ複数のスピーカから音声を出力する際に、自身の端末装置31〜33の位置に対する他の端末装置31〜33が位置する方位に応じて、ユーザからみて他の端末装置31〜33が位置する方向からの音量が大きくなるように音量を制御する。
このような通信システム1によれば、再生される音声に対応する端末装置31〜33の位置と自身の端末装置31〜33の位置との位置関係に応じて音量を制御するので、音声を聞くユーザは、他の端末装置31〜33と自身の端末装置31〜33との位置関係を感
覚的に把握することができる。
さらに、上記通信システム1においてサーバ10は、音声情報を文字に変換し、変換された文字を表示装置に出力する。このような通信システム1によれば、音声で聞き逃した情報を文字で確認することができる。
さらに、上記通信システム1では、各端末装置31〜33のCPU41は、車両の状態やユーザの運転操作を示す情報(ライト、ワイパ、テレビ、ラジオ等の作動状態、走行速度、進行方向等の走行状態、車両のセンサによる検出値や故障の有無等の制御状態)を音声に併せて送信する。このような通信システム1では、ユーザの運転操作を示す情報についても他の端末装置31〜33に送ることができる。
また、上記通信システム1では、端末装置31〜33の位置に応じて、広告を音声で流す。広告の内容は、サーバ10にて挿入され、サーバ10が音声情報の再生を行う端末装置31〜33に広告を送信する。このような通信システム1によれば、広告収入を得ることができるビジネスモデルを提供することができる。
さらに、上記通信システム1においては、通信相手を不特定多数とする配信モードと特定の通信相手との通話を行う対話モードとを変更可能に設定されている。このような通信システム1によれば、特定の相手との通話を楽しむこともできる。
さらに、上記通信ステム1においてサーバ10は、ユーザが音声を入力する際の感情や丁寧な話し方であるか等を、入力レベルの振幅や音声に含まれている丁寧表現を音声情報から検出することで判断し、感情が高ぶっていたり、丁寧な話し方でなかったりするユーザによる音声を配信しないようにする。このような通信システム1によれば、喧嘩を引き起こす原因となるユーザからの発言を排除することができる。
また、上記通信システム1においてサーバ10は人の悪口を発言するユーザや、感情が高ぶっていたり、丁寧な話し方でなかったりするユーザに、失言等を通知する。この場合、悪口等としてキーワード登録された単語が音声情報中に含まれているか否かによって判断を行う。このような通信システム1によれば、失言を行ったユーザに失言を行わないよう促すことができる。
なお、S102が入力手段としての処理の一例に相当し、S114,S1202,S1204,S1205が取得手段としての処理の一例に相当し、S116が送信手段としての処理の一例に相当し、S811が再生手段としての処理の一例に相当する。
[その他の実施形態]
本発明の実施の形態は、上記の実施形態に何ら限定されることはなく、本発明の技術的範囲に属する限り種々の形態を採りうる。
(1)上記実施形態では、蓄積された複数の音声情報の中から、音声を再生する端末装置31〜33に応じた音声情報を抽出する抽出処理を、サーバ10で実行するようにしているが(S1302〜S1312)、これに限定されるものではない。例えば、音声を再生する端末装置31〜33でこのような抽出処理の一部又は全部を実行してもよい。例えば、サーバ10が、端末装置31〜33で再生されない可能性のある余分な音声情報も含み得る形で、音声情報を端末装置31〜33へ送信し、端末装置31〜33が、受信した音声情報の中から、再生すべき音声情報を抽出(不要な音声情報を破棄)するようにしてもよい。なお、サーバ10から端末装置31〜33への音声情報の送信は、端末装置31〜33からの要求に応じて行われるようにしてもよく、また、要求に関係なく行われるよ
うにしてもよい。
(2)上記実施形態では、サーバ10は、送信候補の音声情報のそれぞれについて、他の音声情報と内容が重複するか否かを判定し(S1311)、重複すると判定した場合に(S1311:YES)、内容の重複を解消する(S1312)。このようにすることで、同様の発言が繰り返し再生される現象を生じにくくすることができるが、見方を変えれば、内容が重複する音声情報の数が多いほど、その内容の信憑性は高いと考えられる。そこで、内容が重複する音声情報が一定数以上であることを、その内容の音声を再生する条件としてもよい。
例えば、図21A及び21Bに示す応答処理は、前述した図17A及び17Bの応答処理におけるS1311〜S1312の処理を、S1401〜S1403の処理に置き換えたものである。すなわち、図21A及び21Bに示す応答処理では、送信候補の音声情報のそれぞれについて、例えば「事故」や「通行規制」など、あらかじめ設定された特定のキーワードが含まれるか否かを判定する(S1401)。
そして、送信候補の音声情報の中に、特定のキーワードを含む音声情報が存在すると判定した場合には(S1401:YES)、特定のキーワードを含む音声情報の中に、同一内容の(内容が重複する)音声情報が一定数(例えば3つ)未満のものが存在するか否かを判定する(S1402)。ここで、同一内容の音声情報が一定数未満の音声情報が存在すると判定した場合には(S1402:YES)、その内容の音声情報を送信候補の音声情報から除外する(S1403)。その後、送信候補の音声情報を、情報要求の送信元の端末装置31〜33へ送信し(S1313)、応答処理を終了する。
一方、送信候補の音声情報の中に、特定のキーワードを含む音声情報が存在しないと判定した場合や(S1401:NO)、同一内容の音声情報が一定数未満の音声情報が存在しないと判定した場合には(S1402:NO)、そのままS1313へ移行し、送信候補の音声情報を、情報要求の送信元の端末装置31〜33へ送信して(S1313)、応答処理を終了する。
つまり、図21A及び21Bに例示した応答処理によれば、特定のキーワードが含まれる音声情報については、同一内容の音声情報が一定数蓄積されるまでは端末装置31〜33へ送信されず、一定数に達したことを条件として端末装置31〜33へ送信される。このようにすることで、虚偽の情報など、内容の信憑性の低い音声が端末装置31〜33で再生されることを抑制することができる。
なお、図21A及び21Bの例では、特定のキーワードを含む音声情報を対象として、同一内容の音声情報が一定数存在することを送信のための条件としたが、これに限定されるものではない。例えば、特定のキーワードを含むか否かに関係なく、送信候補の音声情報のすべてについて、同一内容の音声情報が一定数存在することを送信のための条件としてもよい。また、同一内容の音声が一定数存在するか否かの判定においては、発信元が同一の音声情報が複数存在しても、1つとしてカウントする(複数としてカウントしない)ようにしてもよい。このようにすれば、同一のユーザが同一内容の音声を複数回発言することにより、内容の信憑性の低い音声が他のユーザの端末装置31〜33で再生されてしまうことを抑制することができる。
(3)上記実施形態では、音声情報を送信する端末装置31〜33が、録音された音声を合成音声に変換する処理を行うようにしているが(S107)、これに限定されるものではない。例えば、このような変換処理の一部又は全部をサーバ10で実行してもよく、また、音声を再生する端末装置31〜33で実行してもよい。
(4)上記実施形態では、端末装置31〜33が所定時間ごとに要求処理(図16)を実行するようにしているが、これに限定されるものではなく、他の所定のタイミングで実行してもよい。例えば、所定距離を走行するごと、ユーザによる要求操作時、指定時刻の到来時、指定地点の通過時、周辺エリアの退出時、などに実行してもよい。
(5)上記実施形態では、周辺エリア内の音声情報を抽出して再生するようにしているが、これに限定されるものではない。例えば、周辺エリアを包含する(周辺エリアよりも広い)拡大エリアを設定し、拡大エリア内の音声情報を抽出して、その中から周辺エリア内の音声情報を更に抽出して再生してもよい。具体的には、上記実施形態のS1307で、発声位置が拡大エリア内の音声情報を抽出する。そして、端末装置31〜33では、サーバ10から受信した拡大エリア内の音声情報を記憶(キャッシュ)しておき、音声情報の表す音声を再生する段階において、発声位置が周辺エリア内の音声情報を抽出して再生する。このようにすれば、車両の走行に伴い、現在地に基づく周辺エリアが変化しても、変化後の周辺エリアが音声情報受信時の拡大エリア内であれば、その周辺エリアに応じた音声情報の表す音声を再生することができる。
(6)上記実施形態では、車両の現在地(実際の位置)に基づいて周辺エリアを設定するようにしているが、これに限定されるものではなく、現在地以外の位置情報を取得し、取得した位置情報を基準に周辺エリアを設定してもよい。具体的には、ユーザにより設定(入力)された位置情報を取得してもよい。このようにすれば、例えば、目的地を基準に周辺エリアを設定することで、目的地付近で発信された音声情報を、目的地から遠く離れた場所で事前に確認することができる。
(7)上記実施形態では、端末装置として、車両に搭載された車載装置として構成された端末装置31〜33を例示したが、これに限定されるものではない。例えば、ユーザが携帯可能かつ車両で使用可能な装置(携帯電話機等)でもよい。また、端末装置は、構成の少なくとも一部(例えば、位置を検出するための構成、音声を入力するための構成、音声を再生するための構成、等)を車両に搭載された装置と共用してもよく、共用しなくてもよい。
(8)上記実施形態では、他の端末装置31〜33からサーバ10へ送信された音声情報のうち、その発声位置が、現在地を基準に設定される周辺エリア内に位置する音声情報の表す音声を再生する構成を例示したが、これに限定されるものではなく、位置情報に関係なく音声情報を抽出・再生するようにしてもよい。
(9)端末装置がユーザから入力する情報は、ユーザの発した音声に限定されるものではなく、例えば、ユーザにより入力された文字情報でもよい。つまり、端末装置は、ユーザの発した音声に代えて(又は音声とともに)、ユーザから文字情報を入力してもよい。この場合、端末装置は、文字情報をユーザが視認可能に表示してもよく、また、文字情報を合成音声に変換して再生してもよい。
(10)上記実施形態は、本発明が適用された実施形態の一例に過ぎない。本発明は、システム、装置、方法、プログラム、記録した記録媒体、などの種々の形態で実現することができる。
(11)その他、以下のようにしてもよい。
例えば、上記通信システム1においては、通信態様に応じて識別情報として追加する内容(例えば、本名、第1のニックネーム、第2のニックネーム等)を変更するようにしてもよい。例えば、互いに自身を特定するための情報を事前に交換しておき、通信相手があ
らかじめ登録された相手であるか否かによって、識別情報を変更すればよい。
また、上記実施形態では、いかなる場合もキーワードを別の単語等に置き換えるよう構成したが、例えば、通信相手や通信モード等の条件によってはキーワードを別の単語等に置き換える処理を実施しないようにしてもよい。特定の相手と通信をしている場合には、公衆に対して配信する場合と異なり、このような処理を行う必要がないからである。
また、「あのー」や「えーっと」等、話し言葉特有の意味のない単語については、この単語を省略した音声情報を生成するようにしてもよい。この場合、省略した分だけ音声情報の再生時間を短縮することができる。
また、上記実施形態では、各端末装置31〜33のCPU41が車両の状態やユーザの運転操作を示す情報の情報を文字で出力したが、音声で出力してもよい。また、例えば他の端末装置31〜33から得られる情報に基づいて渋滞情報等の各種情報を生成し、該生成した情報を出力してもよい。
さらに、上記通信システム1においては、各端末装置31〜33同士が直接音声情報を交換する構成と、各端末装置31〜33同士がサーバ10を介して音声情報を交換する構成とを、あらかじめ設定された条件(例えば、サーバ10と繋がる基地局までの距離や、端末装置31〜33同士の通信状態、又は、ユーザによる設定等)によって切り換えるようにしてもよい。
また、上記実施形態では、端末装置31〜33の位置に応じて、広告を音声で流すよう構成したが、一定時間ごと、一定の音声情報再生数ごとに広告を音声で流すようにしてもよい。また、広告の内容は、広告主の端末装置31〜33から他の端末装置31〜33に送信してもよい。この際、ユーザが端末装置31〜33に対して所定の操作を入力することによって広告主との通話(通信)ができるようにしたり、広告主の店舗に端末装置31〜33のユーザを誘導したりするようにしてもよい。
さらに、上記実施形態においては、特定の複数の通信相手と通信を行うモードを設定してもよい。例えば、位置情報を交換する構成の場合には、一定距離以内の端末装置31〜33を通信相手としてもよいし、特定のユーザ(先行車両や対向車両など(カメラを用いたナンバプレート撮像、GPSで特定)、あらかじめ設定されたグループ内のユーザを通信相手としてもよい。また、設定により通信相手を変更できるように(通信モードを変更できるように)してもよい。
また、端末装置31〜33が車両に搭載されている場合には、同じ道路を同じ方向に移動している端末装置31〜33を通信相手としたり、車両の挙動が一致している端末装置31〜33(脇道にそれた場合には通信相手から外すなど)を通信相手としたりしてもよい。
また、他のユーザを特定して、お気に入り登録や、排除登録等をあらかじめ設定できるように構成しておき、好みの相手を選択して通信できるようにしてもよい。この場合、音声を送信する際に通信相手を特定する通信相手情報を送信したり、サーバが存在する場合には、サーバに通信相手情報を登録しておいたりすることで、所定の相手にのみ音声情報を送信することができるようにすればよい。
また、複数のボタン等のスイッチにそれぞれ方向を対応付けておき、ユーザがこのスイッチで通信相手のいる方向を指定すると、その方向のユーザのみを通信相手に設定するようにしてもよい。
さらに、上記通信システム1においては、音声情報を交換する構成としたが、文字からなる情報を取得し、この情報を音声に変換して再生するようにしてもよい。また、音声を送信する際にも、音声を文字に変換してから伝送し、音声に復元してから再生するようにしてもよい。この構成では、通信によって伝送すべきデータ量を減少させることができる。
さらに、このように文字によってデータを伝送する構成においては、あらかじめ設定された複数の言語のうちの最もデータ量が少なくなる言語に翻訳してからデータを伝送するようにしてもよい。
また、上記実施形態のサーバ10の機能の一部を端末装置31〜33が実施してもよい。例えば、端末装置31〜33のCPU41において、再生が完了していない複数の音声情報が存在する場合、各音声情報に対応する音声が重複しないように整列させてから再生するようにしてもよい。CPU41において、ユーザによって入力された音声情報に、該ユーザを識別するための識別情報を音声で付加した新たな音声情報を生成し、該生成した音声情報を送信するようにしてもよい。
具体的には、音声発信処理や音声再生処理において、音声配信処理の一部を実施させてもよい。例えば、音声再生処理にて音声配信処理の一部を実施する場合には、図22A−22Dに示すように、音声再生処理のS802とS804との間において、音声配信処理のS703〜S722(S717を除く)の処理を実施すればよい。
このような通信システムであっても、音声を再生する際に、音声が重複しないように再生することができるので、音声を聞きやすくすることができる。また、このような通信システム1であっても、ユーザを識別するための識別情報を音声で付加することができるので、ユーザは自身の識別情報を話すことなく、他のユーザに音声発信元のユーザを通知することができる。
また、上記実施形態では、音声が重複して再生されることを禁止したが、あえて音声の一部を重複させて再生してもよい。この場合、先の音声の最後の数秒間と、後の音声の最初の数秒間だけをオーバーラップするようにしてもよい。この際には、先の音声の最後に徐々に音量を小さくするフェードアウト効果と、後の音声の最初に徐々に音声を大きくするフェードイン効果とを組み合わせるようにしてもよい。
さらに、ユーザが発した音声の有無で居眠り運転かどうか判定してもよい。この構成を実現するためには、例えば、図23に示す居眠り判定処理を実施するとよい。
居眠り判定処理は、端末装置31〜33において音声発信処理と並行して実施される処理であり、ユーザが一定時間発声しない場合や、発声したとしても意識レベルが低いと推定される場合に、警報を発したり停車等の車両制御をしたりする処理である。詳細には、図23に示すように、まず、ユーザによる最終発生からの時間をカウントする(S1401)。
そして、ユーザによる最終発声から予め設定された第1基準時間(例えば10分程度)が経過したか否かを判定する(S1402)。第1基準時間が経過していなければ(S1402:NO)、居眠り判定処理を終了する。
また、第1基準時間が経過していれば(S1402:YES)、ユーザへの問い掛けを実施する(S1403)。この処理では、ユーザが意識レベルを確認するためにユーザに発声を促す質問を行う。このため、例えば「起きていますか?」等、直接的な問い掛けで
もよいし、「現在時刻を教えてください」等、間接的な問い掛けでもよい。
続いて、このような問い掛けに対する応答が得られたか否かを判定する(S1404)。問い掛けに対する応答が得られていれば(S1404:YES)、応答のレベルを判定する(S1405)。
ここで、応答のレベルとは、声の大きさ、滑舌のよさ等、眠くなるとレベル(音の大きさ、音声認識による精度)が低下する項目を示し、この処理ではこれらの何れかの項目と予め設定された閾値とを比較して判断する。
応答のレベルが十分高ければ(S1405:YES)、居眠り判定処理を終了する。また、応答のレベルが不十分である場合(S1405:NO)、およびS1404の処理にて問い掛けに対する応答が得られていない場合には(S1404:NO)、ユーザによる最終発声から前述の第1基準時間以上の値に設定された第2基準時間(例えば、10分10秒程度)が経過したか否かを判定する(S1406)。
第2基準時間が経過していなければ(S1406:NO)、S1403の処理に戻る。また、第2基準時間が経過していれば(S1406:YES)、スピーカ53等を介して警報を発する(S1407)。
続いて、警報に対する応答(例えば、「わー」というような声や警報を解除するための入力部45を介した操作)が得られたか否かを判定する(S1408)。警報に対する応答が得られていれば(S1408:YES)、S1405の処理と同様に、応答のレベルを判定する(S1409)。なお、入力部45を介した操作が入力された場合には、応答のレベルが充分であるものと判定する。
応答のレベルが十分高ければ(S1409:YES)、居眠り判定処理を終了する。また、応答のレベルが不十分である場合(S1409:NO)、およびS1408の処理にて問い掛けに対する応答が得られていない場合には(S1408:NO)、ユーザによる最終発声から前述の第2基準時間以上の値に設定された第3基準時間(例えば、10分30秒程度)が経過したか否かを判定する(S1410)。
第3基準時間が経過していなければ(S1410:NO)、S1407の処理に戻る。また、第3基準時間が経過していれば(S1410:YES)、例えば車両を停車させる等の車両制御を実施し(S1411)、居眠り判定処理を終了する。
このような処理を実施すれば、ユーザ(運転者)の居眠りを抑制することができる。
また、広告を音声で挿入する場合(S720)や、音声を文字でも表示させる場合(S812)には、さらに追加の文字情報をナビゲーション装置48等のディスプレイに表示させてもよい。
このような構成を実現するために、例えば、図24に示す追加情報表示処理を実施すればよい。なお、追加情報表示処理は、サーバ10において音声配信処理と並行して実施される処理である。
追加情報表示処理では、図24に示すように、まず、音声配信処理において広告(CM)が挿入されたか否か(S1501)、および文字が表示されたか否か(S1502)を判定する。広告が挿入された(S1501:YES)、或いは文字が表示された(S1502:YES)場合には、表示させる文字に関連する情報を取得する(S1503)。
ここで、文字に関連する情報には、例えば、表示させる文字列(キーワード)に対応する広告や地域の情報、或いは文字列に関する情報を解説するための情報等、この文字列に対応付けられた情報が該当する。この情報は、サーバ10内から取得してもよいし、サーバ10の外部(インターネット上等)から取得してもよい。
文字に関連する情報を取得すると、この情報を文字や画像としてディスプレイに表示させ(S1504)、追加情報表示処理を終了する。
なお、S1501およびS1502の処理において広告が挿入されておらず、かつ文字が表示されない場合には(S1501:NOかつS1502:NO)、追加情報表示処理を終了する。
このような構成によれば、音声を文字として表示させるだけでなく、関連する情報についても表示させることができる。
なお、文字情報を表示させるディスプレイは、ナビゲーション装置48のディスプレイに限らず、車両内のヘッドアップディスプレイ等、任意のディスプレイであってもよい。
1…通信システム、10…サーバ、20…基地局、31〜33…端末装置、41…CPU、42…ROM、43…RAM、44…通信部、45…入力部、48…ナビゲーション装置、49…GPS受信機、52…マイク、53…スピーカ
本発明は、端末装置を備えた車両に関する。
本発明の1つの局面は、
他の端末装置と通信可能な端末装置を備えた車両であって、
端末装置は、
ユーザが音声を入力すると該音声を音声信号に変換する音声入力変換手段と、
音声信号を他の端末装置を含む装置に送信する音声送信手段と、
他の端末装置にて送信された音声信号を受信する音声受信手段と、
受信した音声信号を再生する音声再生手段と、
を備える。
本発明のの局面は、
互いに通信可能な複数の端末装置を備えた通信システムであって、
各端末装置は、
ユーザが音声を入力すると該音声を音声信号に変換する音声入力変換手段と、
前記音声信号を他の端末装置を含む装置に送信する音声送信手段と、
他の端末装置にて送信された音声信号を受信する音声受信手段と、
受信した音声信号を再生する音声再生手段と、
を備え、
前記音声再生手段は、再生が完了していない複数の音声信号が存在する場合、各音声信号に対応する音声が重複しないように整列させてから再生する。

Claims (3)

  1. 互いに通信可能な複数の端末装置を備えた通信システムであって、
    各端末装置は、
    ユーザが音声を入力すると該音声を音声信号に変換する音声入力変換手段と、
    前記音声信号を他の端末装置を含む装置に送信する音声送信手段と、
    他の端末装置にて送信された音声信号を受信する音声受信手段と、
    受信した音声信号を再生する音声再生手段と、
    を備え、
    前記音声再生手段は、再生が完了していない複数の音声信号が存在する場合、各音声信号に対応する音声が重複しないように整列させてから再生する、通信システム。
  2. 複数の端末装置と前記複数の端末装置のそれぞれと通信可能なサーバ装置とを備えた通信システムであって、
    各端末装置は、
    ユーザが音声を入力すると該音声を音声信号に変換する音声入力変換手段と、
    前記音声信号を前記サーバ装置に送信する音声送信手段と、
    前記サーバ装置にて送信された音声信号を受信する音声受信手段と、
    受信した音声信号を再生する音声再生手段と、
    を備え、
    前記サーバ装置は、
    前記複数の端末装置から送信された音声信号を受信し、各音声信号に対応する音声が重複しないように整列させてから前記複数の端末装置に対して音声信号を配信する配信手段を備えている、通信システム。
  3. 請求項1または請求項2に記載の通信システムにおいて、
    前記音声再生手段は、ユーザによる特定の指令を受けると、既に再生した音声信号を再度再生する、通信システム。
JP2021119653A 2011-12-14 2021-07-20 車両 Pending JP2021185664A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2022208636A JP2023052086A (ja) 2011-12-14 2022-12-26 端末装置及び車両

Applications Claiming Priority (9)

Application Number Priority Date Filing Date Title
JP2011273579 2011-12-14
JP2011273578 2011-12-14
JP2011273579 2011-12-14
JP2011273578 2011-12-14
JP2012074627 2012-03-28
JP2012074627 2012-03-28
JP2012074628 2012-03-28
JP2012074628 2012-03-28
JP2020083226A JP2020150550A (ja) 2011-12-14 2020-05-11 音声再生装置、及び車両

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2020083226A Division JP2020150550A (ja) 2011-12-14 2020-05-11 音声再生装置、及び車両

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2022208636A Division JP2023052086A (ja) 2011-12-14 2022-12-26 端末装置及び車両

Publications (1)

Publication Number Publication Date
JP2021185664A true JP2021185664A (ja) 2021-12-09

Family

ID=48612675

Family Applications (10)

Application Number Title Priority Date Filing Date
JP2013549331A Active JP6234819B2 (ja) 2011-12-14 2012-12-14 通信システムおよび端末装置
JP2017202809A Active JP6479927B2 (ja) 2011-12-14 2017-10-19 通信システムおよび端末装置
JP2018001180A Active JP6525176B2 (ja) 2011-12-14 2018-01-09 広告提供装置
JP2018001179A Active JP6525175B2 (ja) 2011-12-14 2018-01-09 通信システムおよび通信装置
JP2019080135A Active JP6814364B2 (ja) 2011-12-14 2019-04-19 情報提供装置、及び車両
JP2019080134A Pending JP2019193262A (ja) 2011-12-14 2019-04-19 音声入力装置
JP2020083226A Pending JP2020150550A (ja) 2011-12-14 2020-05-11 音声再生装置、及び車両
JP2021119653A Pending JP2021185664A (ja) 2011-12-14 2021-07-20 車両
JP2022002379A Active JP7301274B2 (ja) 2011-12-14 2022-01-11 音声再生装置、及び車両
JP2022208636A Pending JP2023052086A (ja) 2011-12-14 2022-12-26 端末装置及び車両

Family Applications Before (7)

Application Number Title Priority Date Filing Date
JP2013549331A Active JP6234819B2 (ja) 2011-12-14 2012-12-14 通信システムおよび端末装置
JP2017202809A Active JP6479927B2 (ja) 2011-12-14 2017-10-19 通信システムおよび端末装置
JP2018001180A Active JP6525176B2 (ja) 2011-12-14 2018-01-09 広告提供装置
JP2018001179A Active JP6525175B2 (ja) 2011-12-14 2018-01-09 通信システムおよび通信装置
JP2019080135A Active JP6814364B2 (ja) 2011-12-14 2019-04-19 情報提供装置、及び車両
JP2019080134A Pending JP2019193262A (ja) 2011-12-14 2019-04-19 音声入力装置
JP2020083226A Pending JP2020150550A (ja) 2011-12-14 2020-05-11 音声再生装置、及び車両

Family Applications After (2)

Application Number Title Priority Date Filing Date
JP2022002379A Active JP7301274B2 (ja) 2011-12-14 2022-01-11 音声再生装置、及び車両
JP2022208636A Pending JP2023052086A (ja) 2011-12-14 2022-12-26 端末装置及び車両

Country Status (4)

Country Link
US (1) US9613639B2 (ja)
EP (2) EP3367651A3 (ja)
JP (10) JP6234819B2 (ja)
WO (1) WO2013089236A1 (ja)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5974498B2 (ja) * 2012-01-24 2016-08-23 株式会社デンソー 車車間通信装置
CN205484410U (zh) * 2013-03-14 2016-08-17 菲力尔系统公司 风传感器运动补偿系统
CN104376846A (zh) * 2013-08-16 2015-02-25 联想(北京)有限公司 一种语音调节方法、装置和电子设备
US9711146B1 (en) 2014-06-05 2017-07-18 ProSports Technologies, LLC Wireless system for social media management
US9343066B1 (en) 2014-07-11 2016-05-17 ProSports Technologies, LLC Social network system
US10321259B2 (en) * 2014-10-28 2019-06-11 Comcast Cable Communications, Llc Low energy network
US9730023B2 (en) * 2015-10-27 2017-08-08 Chatterbeak, Inc. Communication based on geographical region
DE102016200048B4 (de) * 2016-01-06 2020-08-13 Volkswagen Aktiengesellschaft Warneinrichtung und Verfahren zum Warnen von Kraftfahrzeuginsassen
US10360916B2 (en) * 2017-02-22 2019-07-23 Plantronics, Inc. Enhanced voiceprint authentication
WO2018207558A1 (ja) * 2017-05-10 2018-11-15 株式会社クボタ 作業機の操作支援システム及び農業支援システム
KR102512740B1 (ko) * 2017-07-11 2023-03-21 주식회사 하나은행 차량내 금융 컨텐츠 추천 방법, 이를 수행하는 서버 장치 및 단말 장치
US10048930B1 (en) 2017-09-08 2018-08-14 Sonos, Inc. Dynamic computation of system response volume
US11273778B1 (en) * 2017-11-09 2022-03-15 Amazon Technologies, Inc. Vehicle voice user interface
US11404075B1 (en) * 2017-11-09 2022-08-02 Amazon Technologies, Inc. Vehicle voice user interface
JP6954198B2 (ja) 2018-03-23 2021-10-27 株式会社Jvcケンウッド 端末装置、グループ通信システム、及びグループ通信方法
JP7153841B2 (ja) * 2019-02-14 2022-10-17 株式会社ナカヨ インターカムシステム、インターカム端末、およびインターカム通話方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004163586A (ja) * 2002-11-12 2004-06-10 Clarion Co Ltd 音声記録装置、車載装置、移動機、配信システム、配信サーバ、配信サーバの制御方法および制御プログラム

Family Cites Families (54)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3703045B2 (ja) * 1996-09-30 2005-10-05 マツダ株式会社 ナビゲーション装置
JP2001142487A (ja) * 1999-11-11 2001-05-25 Sony Corp 音声データ入力システム
US7712123B2 (en) * 2000-04-14 2010-05-04 Nippon Telegraph And Telephone Corporation Method, system, and apparatus for acquiring information concerning broadcast information
JP4605852B2 (ja) * 2000-04-19 2011-01-05 Kddi株式会社 通話サービス提供装置
US6925307B1 (en) * 2000-07-13 2005-08-02 Gtech Global Services Corporation Mixed-mode interaction
AU2001272871A1 (en) * 2000-07-14 2002-01-30 Cellpoint Systems Ab A method and system for broadcasting messages including location dependant targeted advertisement in a cellular network
US6985913B2 (en) * 2000-12-28 2006-01-10 Casio Computer Co. Ltd. Electronic book data delivery apparatus, electronic book device and recording medium
KR100731015B1 (ko) * 2001-01-09 2007-06-22 엘지전자 주식회사 위치 정합형 정보 서비스 제공 방법
JP4802370B2 (ja) 2001-01-30 2011-10-26 ソニー株式会社 通信制御装置および方法、記録媒体、並びにプログラム
JP2002358720A (ja) * 2001-06-01 2002-12-13 Pioneer Electronic Corp 情報再生装置および情報再生方法
JP2003101662A (ja) * 2001-09-21 2003-04-04 Sharp Corp 通信方法、通信装置および通信端末
JP2003143256A (ja) * 2001-10-30 2003-05-16 Nec Corp 端末装置と通信制御方法
JP2003258988A (ja) * 2002-02-28 2003-09-12 Toshiba Corp 情報端末装置および同情報端末装置に適用される再生音量制御方法
JP2003291750A (ja) * 2002-04-01 2003-10-15 Nissan Motor Co Ltd 車載機器制御装置
JP3826827B2 (ja) * 2002-04-08 2006-09-27 日本電気株式会社 遠隔会議システムにおける発言管理システム
JP2004104778A (ja) * 2003-08-28 2004-04-02 Seiko Epson Corp 情報配信システム、情報配信システムの制御方法および情報配信サーバ
JP3678733B2 (ja) * 2003-10-03 2005-08-03 株式会社エヌ・ティ・ティ・ドコモ 携帯通信端末及び位置情報提供方法
US7120235B2 (en) * 2003-10-06 2006-10-10 Ingenio, Inc. Method and apparatus to provide pay-per-call performance based advertising
JP2005295375A (ja) * 2004-04-02 2005-10-20 Omron Corp 情報取得支援システム
JP4600643B2 (ja) * 2004-06-02 2010-12-15 日本電気株式会社 文字表示機能を有するテレビ電話装置及びテレビ電話装置における音声の文字変換表示方法
JP2006054656A (ja) * 2004-08-11 2006-02-23 Nec Corp Ptt通信システム、ptt通信方法、ptt通信サーバ
JP4635531B2 (ja) * 2004-09-14 2011-02-23 ブラザー工業株式会社 受信装置及び情報配信システム等
JP4385949B2 (ja) 2005-01-11 2009-12-16 トヨタ自動車株式会社 車載チャットシステム
JP2006229903A (ja) * 2005-02-21 2006-08-31 Fuji Xerox Co Ltd 会議支援システム及び会議支援方法、並びにコンピュータ・プログラム
JP2006309348A (ja) * 2005-04-26 2006-11-09 Sharp Corp 送信装置、受信装置、送信方法、受信方法、送信プログラム、受信プログラムおよびコンピュータ読み取り可能な記録媒体
JP2007096838A (ja) * 2005-09-29 2007-04-12 Matsushita Electric Ind Co Ltd グループ通話制御装置、音声通話装置、およびグループ通話システム
JP2007259293A (ja) 2006-03-24 2007-10-04 Nec Corp 多者間通話システム、通話機能付き端末装置、多者間通話方法、プログラム及び記録媒体
JP2007318438A (ja) * 2006-05-25 2007-12-06 Yamaha Corp 音声状況データ生成装置、音声状況可視化装置、音声状況データ編集装置、音声データ再生装置、および音声通信システム
US8855275B2 (en) * 2006-10-18 2014-10-07 Sony Online Entertainment Llc System and method for regulating overlapping media messages
US20080107045A1 (en) * 2006-11-02 2008-05-08 Viktors Berstis Queuing voip messages
JP2008141348A (ja) * 2006-11-30 2008-06-19 Yamaha Corp 通信装置
JP5077344B2 (ja) 2007-03-30 2012-11-21 富士通株式会社 通信システム、サーバ装置、通信端末装置及びコンピュータプログラム
WO2009066696A1 (ja) * 2007-11-19 2009-05-28 Nec Corporation 広告効果測定装置、該広告効果測定装置に用いられる広告効果測定方法及び広告効果測定制御プログラム
JP2009139592A (ja) 2007-12-05 2009-06-25 Sony Corp 音声処理装置、音声処理システム及び音声処理プログラム
US20090259397A1 (en) * 2008-04-10 2009-10-15 Richard Stanton Navigation system with touchpad remote
JP2009301299A (ja) * 2008-06-12 2009-12-24 Tokai Rika Co Ltd ジェスチャ判定装置
JP5018671B2 (ja) * 2008-07-07 2012-09-05 株式会社デンソー 車両用ナビゲーション装置
JP2010028202A (ja) * 2008-07-15 2010-02-04 Sanyo Electric Co Ltd 緊急災害速報受信装置
JP2010034689A (ja) * 2008-07-25 2010-02-12 Fujitsu Ltd 携帯端末検索プログラム、サーバ、携帯端末および携帯端末検索方法
JP2010039898A (ja) * 2008-08-07 2010-02-18 Hitachi Ltd 広告配信システム、広告配信装置および広告配信方法
JP5018689B2 (ja) * 2008-08-12 2012-09-05 株式会社Jvcケンウッド 車載器、コンテンツ情報処理方法及びプログラム
JP4774088B2 (ja) * 2008-08-28 2011-09-14 ヤフー株式会社 予定情報と位置情報を連動した広告配信方法
JP4852584B2 (ja) * 2008-10-23 2012-01-11 ヤフー株式会社 禁止語発信防止方法、禁止語発信防止電話、禁止語発信防止サーバ
US20100280828A1 (en) * 2009-04-30 2010-11-04 Gene Fein Communication Device Language Filter
US7873349B1 (en) * 2009-10-06 2011-01-18 Sur-Tec, Inc. System, method, and device for intelligence gathering and position tracking
KR20110024581A (ko) * 2009-09-02 2011-03-09 삼성전자주식회사 지역 기반의 휴대 광고 서비스를 제공하는 단말 및 방법
US20110105094A1 (en) * 2009-10-29 2011-05-05 Microsoft Corporation Location integration in software defined radio
JP2011118804A (ja) * 2009-12-07 2011-06-16 Nec Corp 広告配信システム及び広告配信方法
JP5005758B2 (ja) * 2009-12-25 2012-08-22 株式会社ホンダアクセス 自動車における車載機器の操作装置
JP5593759B2 (ja) * 2010-03-19 2014-09-24 富士通株式会社 通話音声処理装置、通話音声制御装置および方法
JP2011205243A (ja) * 2010-03-24 2011-10-13 Sharp Corp 情報処理装置、会議システム、情報処理方法及びコンピュータプログラム
US20110246172A1 (en) * 2010-03-30 2011-10-06 Polycom, Inc. Method and System for Adding Translation in a Videoconference
JP5597428B2 (ja) 2010-03-31 2014-10-01 ヤフー株式会社 情報を表示する端末、システム、方法及びプログラム
JP2011087324A (ja) * 2010-12-21 2011-04-28 Kyocera Corp 携帯端末装置、通信システムおよび通信制御方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004163586A (ja) * 2002-11-12 2004-06-10 Clarion Co Ltd 音声記録装置、車載装置、移動機、配信システム、配信サーバ、配信サーバの制御方法および制御プログラム

Also Published As

Publication number Publication date
JP2019195162A (ja) 2019-11-07
JP2023052086A (ja) 2023-04-11
EP2793454A4 (en) 2015-07-22
JP2018082485A (ja) 2018-05-24
WO2013089236A1 (ja) 2013-06-20
JP2022064893A (ja) 2022-04-26
EP3367651A2 (en) 2018-08-29
JPWO2013089236A1 (ja) 2015-04-27
JP2018067920A (ja) 2018-04-26
JP7301274B2 (ja) 2023-07-03
JP6814364B2 (ja) 2021-01-20
JP6525176B2 (ja) 2019-06-05
JP2020150550A (ja) 2020-09-17
US20140303966A1 (en) 2014-10-09
EP2793454A1 (en) 2014-10-22
JP2019193262A (ja) 2019-10-31
EP3367651A3 (en) 2018-11-14
JP6234819B2 (ja) 2017-11-22
JP2018082484A (ja) 2018-05-24
JP6525175B2 (ja) 2019-06-05
JP6479927B2 (ja) 2019-03-06
US9613639B2 (en) 2017-04-04

Similar Documents

Publication Publication Date Title
JP6814364B2 (ja) 情報提供装置、及び車両
WO2017057170A1 (ja) 対話装置及び対話方法
US10875525B2 (en) Ability enhancement
US20120135714A1 (en) Information system for motor vehicle
WO2017057173A1 (ja) 対話装置及び対話方法
WO2006011310A1 (ja) 音声識別装置、音声識別方法、及びプログラム
KR102592833B1 (ko) 차량의 음성 인식 기능 연동 제어 시스템 및 방법
JP2020095475A (ja) マッチング方法、マッチングサーバ、マッチングシステム、およびプログラム
JP2024028844A (ja) システム及びプログラム
JP2020060861A (ja) エージェントシステム、エージェント方法、およびプログラム
JP6387287B2 (ja) 不明事項解消処理システム
US20230191992A1 (en) Conversation detector to insert audible announcements
JP2017068359A (ja) 対話装置及び対話制御方法
JP4080986B2 (ja) 音声通知装置
KR20180137724A (ko) 음성 인식에 기반한 영상 공유 장치 및 그를 이용한 영상 공유 시스템
CN112193255A (zh) 车机系统的人机交互方法、装置、设备以及存储介质
JP2020060623A (ja) エージェントシステム、エージェント方法、およびプログラム
JP5677676B2 (ja) 音声コミュニティシステム
JP2023129228A (ja) 電子装置、出力装置及びプログラム等
CN112241248A (zh) 信息提供装置、信息提供方法及存储介质
CN117429365A (zh) 用于在机动车辆内提供信息和娱乐的装置和方法
JP2021105769A (ja) 車載装置及び応答出力制御方法
KR20190066116A (ko) 대화 시스템 및 이를 포함하는 차량
JP2020046593A (ja) データ構造、記憶媒体、及び記憶装置
JP2018158625A (ja) 人に走行する車両が近接したことを通知する車両近接通知システムにおける管理サーバ、車両近接通知方法及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210720

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210805

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220608

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220614

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220808

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20220927