JP2016050964A - Reading control unit and telephone call control unit - Google Patents
Reading control unit and telephone call control unit Download PDFInfo
- Publication number
- JP2016050964A JP2016050964A JP2014174434A JP2014174434A JP2016050964A JP 2016050964 A JP2016050964 A JP 2016050964A JP 2014174434 A JP2014174434 A JP 2014174434A JP 2014174434 A JP2014174434 A JP 2014174434A JP 2016050964 A JP2016050964 A JP 2016050964A
- Authority
- JP
- Japan
- Prior art keywords
- reading
- call
- load state
- condition
- interruption
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Abstract
Description
本発明は、車両の運転者に対して着信メッセージを読上げる読上げ装置を制御する読上げ制御装置、またはハンズフリー通話装置を制御する通話制御装置に関する。 The present invention relates to a reading control device that controls a reading device that reads an incoming message to a driver of a vehicle, or a call control device that controls a hands-free calling device.
近年では、ヒューマンマシンインターフェイス(HMI)として、特許文献1に記載の読上げ装置や、特許文献2に記載のハンズフリー通話装置の開発が進んでいる。読上げ装置とは、着信メールのテキストデータを音声データに変換して出力する装置であり、この装置によれば、運転者はハンズフリーで着信メールの内容を把握できる。ハンズフリー通話装置とは、通話相手の音声をスピーカで出力するとともに運転者の音声をマイクで検出する装置であり、この装置によれば、運転者はハンズフリーで車外の相手と通話できる。
In recent years, as a human machine interface (HMI), a reading device described in
しかしながら、ETCゲート(ETCは登録商標)通過時や、カーブ走行時、分岐路運転時等、運転者にとっての運転負荷が高い時には、運転に対する高い集中力が要求されるので、上述したハンズフリーによる通話や読上げを行うことは望ましくない。 However, when the driving load on the driver is high, such as when passing through an ETC gate (ETC is a registered trademark), driving on a curve, driving on a branch road, etc., high concentration for driving is required. It is not desirable to make a call or read aloud.
本発明は、上記問題を鑑みてなされたもので、その目的は、運転負荷に応じた読上げを行うように制御する読上げ制御装置を提供することにある。また、本発明の他の目的は、運転負荷に応じたハンズフリー通話を行うように制御する通話制御装置を提供することにある。 The present invention has been made in view of the above problems, and an object of the present invention is to provide a reading control apparatus that performs control so as to perform reading according to the driving load. Another object of the present invention is to provide a call control device that controls to perform a hands-free call according to the driving load.
ここに開示される発明は上記目的を達成するために以下の技術的手段を採用する。なお、特許請求の範囲およびこの項に記載した括弧内の符号は、後述する実施形態に記載の具体的手段との対応関係を示すものであって、発明の技術的範囲を限定するものではない。 The invention disclosed herein employs the following technical means to achieve the above object. Note that the reference numerals in parentheses described in the claims and in this section indicate the correspondence with the specific means described in the embodiments described later, and do not limit the technical scope of the invention. .
開示される発明のひとつは、車両の運転者に対して着信メッセージを読上げる音声を出力する読上げ装置の、作動状態を制御する読上げ制御装置(20)である。そして、この読上げ制御装置は、運転者にとっての運転負荷が所定未満である低負荷状態であることを条件に、読上げ装置による音声出力の開始を許可する許可手段(22a)と、音声出力の最中に低負荷状態から、運転負荷が所定以上である非低負荷状態に変化した場合に、着信メッセージの最適箇所まで音声出力を継続させ、その後に音声出力を中断する継続中断手段(22b)と、を備えることを特徴とする。 One of the disclosed inventions is a reading control device (20) for controlling an operating state of a reading device that outputs a voice for reading an incoming message to a driver of a vehicle. The reading control device includes a permission means (22a) for permitting the start of voice output by the reading device and a voice output maximum on condition that the driving load on the driver is a low load state that is less than a predetermined value. A continuous interruption means (22b) for continuing the voice output to the optimum point of the incoming message and then interrupting the voice output when the driving load changes from a low load state to a non-low load state where the driving load is greater than or equal to a predetermined value. It is characterized by providing.
この発明によれば、運転負荷が低負荷状態であることを条件に、読上げ装置による音声出力の開始を許可するので、運転負荷が低くない時(非低負荷状態時)に着信メッセージを読上げることが回避される。よって、運転に対する高い集中力が要求される時に、読上げにより集中力を低下させてしまうおそれを低減できる。 According to this invention, since the start of voice output by the reading device is permitted on the condition that the driving load is in a low load state, the incoming message is read out when the driving load is not low (in a non-low load state). It is avoided. Therefore, when high concentration with respect to driving | operation is requested | required, the possibility of reducing concentration by reading aloud can be reduced.
さらに上記発明によれば、低負荷状態時に音声出力を開始した後、その音声出力の最中に非低負荷状態に変化した場合に、直ぐに音声出力を中断するのではなく、着信メッセージの最適箇所まで音声出力を継続させた後に中断する。そのため、例えば最適箇所を句読点や絵文字、記号等の箇所に設定することにより、読上げ途中で中断することによる利便性低下を抑制できる。 Further, according to the above invention, when the voice output is started in the low load state and then changed to the non-low load state during the voice output, the voice output is not interrupted immediately, but the optimum place of the incoming message is not interrupted. The voice output is continued until it is interrupted. For this reason, for example, by setting the optimum location as a punctuation mark, pictograph, symbol, or the like, it is possible to suppress a decrease in convenience due to interruption during reading.
開示される発明のひとつは、車両の運転者によるハンズフリー通話を可能にしたハンズフリー通話装置の、作動状態を制御する通話制御装置(200)である。そして、この通話制御装置は、運転者にとっての運転負荷が所定未満である低負荷状態であることを条件に、ハンズフリー通話装置による通話を許可する許可手段(220a)と、運転負荷が所定以上である非低負荷状態のうち、運転負荷が所定度合い以上の状態を高負荷状態、所定度合い未満の状態を中負荷状態と呼ぶ場合において、通話の最中に低負荷状態から高負荷状態に変化した場合に、通話を保留状態にする通話保留手段(220b)と、通話の最中に低負荷状態から中負荷状態に変化した場合に、通話を保留にすることなく継続可能にしつつ、中負荷状態で通話を実施することに対して注意喚起する注意喚起手段(220c)と、を備えることを特徴とする。 One of the disclosed inventions is a call control device (200) for controlling an operating state of a hands-free call device that enables a hands-free call by a vehicle driver. The call control device includes a permission unit (220a) for allowing a call by the hands-free call device and a driving load equal to or greater than a predetermined value on condition that the driving load on the driver is less than a predetermined value. Among non-low load conditions, when the driving load is higher than a predetermined level, it is called a high load state, and when the driving load is lower than a predetermined level, it is called a middle load state. The call holding means (220b) for placing the call on hold, and when the call changes from the low load state to the medium load state during the call, And alerting means (220c) for alerting the user to make a call in a state.
この発明によれば、運転負荷が低負荷状態であることを条件に、ハンズフリー通話を許可するので、運転負荷が低くない時(非低負荷状態時)にハンズフリー通話することが回避される。よって、運転に対する高い集中力が要求される時に、通話により集中力を低下させてしまうおそれを低減できる。 According to the present invention, hands-free calling is permitted on the condition that the driving load is in a low load state, so that hands-free calling is avoided when the driving load is not low (in a non-low load state). . Therefore, when high concentration for driving is required, the possibility of reducing concentration due to a call can be reduced.
さらに上記発明によれば、低負荷状態時にハンズフリー通話を開始した後、その通話の最中に高負荷状態に変化した場合には通話を保留状態にする一方で、中負荷状態に変化した場合には通話を保留にすることなく継続可能にしつつ注意喚起する。そのため、ハンズフリー通話の最中に高負荷状態に変化した場合には運転に対する集中力の低下を抑制できる。それでいて、中負荷状態に変化した場合には、通話を継続可能にしつつ注意喚起するので、切りの良いタイミングで通話を中断したり、直ぐに通話を中断したり、そのまま通話を継続したりする等、通話状態を運転者の判断に委ねることができる。よって、中負荷状態に変化した場合には、通話途中で強制的に保留することによる利便性低下を抑制できる。 Furthermore, according to the above-described invention, when a hands-free call is started in a low load state and then the call is put on hold when the call changes to a high load state during the call, the case is changed to a medium load state. Calls attention while allowing the call to continue without putting it on hold. Therefore, it is possible to suppress a decrease in concentration on driving when the load changes during a hands-free call. Nevertheless, when the load changes to a medium load state, the call is made alert while allowing the call to be continued, so the call is interrupted at a good timing, immediately interrupted, or continued as it is. The call state can be left to the judgment of the driver. Therefore, when it changes to a middle load state, the convenience fall by forcibly holding in the middle of a call can be suppressed.
以下、図面を参照しながら発明を実施するための複数の形態を説明する。各形態において、先行する形態で説明した事項に対応する部分には同一の参照符号を付して重複する説明を省略する場合がある。各形態において、構成の一部のみを説明している場合は、構成の他の部分については先行して説明した他の形態を参照し適用することができる。 Hereinafter, a plurality of modes for carrying out the invention will be described with reference to the drawings. In each embodiment, portions corresponding to the matters described in the preceding embodiment may be denoted by the same reference numerals and redundant description may be omitted. In each embodiment, when only a part of the configuration is described, the other configurations described above can be applied to other portions of the configuration.
(第1実施形態)
図1に示すように、携帯端末10が車室内に持ち込まれた車両1には、電子制御装置(ECU20)、スピーカ30、マイク31、表示器32、着座センサ33、および他の電子制御装置(他のECU34)が搭載されている。携帯端末10は、車両1の外部に設置されている基地局2を通じて、通信端末3と通信可能である。基地局2は、インターネット回線または電話回線により通信可能に接続するものである。換言すれば、携帯端末10および通信端末3は、インターネット回線または電話回線により無線通信する機能を有している。
(First embodiment)
As shown in FIG. 1, an electronic control unit (ECU 20), a
スピーカ30は、音声や楽曲、報知音等の音を車両乗員に対して出力する。マイク31は、車両の運転者が発した音声を検出して電気信号に変換する。表示器32は、インストルメントパネルに取り付けられ、車両乗員に対して各種情報を表示する。着座センサ33は、車両の座席に乗員が着座しているか否かを検出するセンサである。他のECU34は、車両1に搭載された内燃機関または走行モータ等の作動を制御するものであり、車両の運転状態を表した車両情報をECU20へ送信する。車両情報の具体例としては、車両の走行速度、走行加速度、操舵角度、方向指示機の作動情報、走行している道路の情報、等が挙げられる。
The
ECU20は、通信処理回路21、マイクロコンピュータ(マイコン22)、音声出力処理回路23、音声入力処理回路24、表示出力処理回路25および外部メモリ26等を有する。通信処理回路21は、車室内に持ち込まれた携帯端末10と無線通信するインターフェイス回路である。音声出力処理回路23は、マイコン22から出力された音声信号に基づきスピーカ30へ駆動信号を出力する。音声入力処理回路24は、マイク31で検出したアナログの音声信号をデジタル信号に変換してマイコン22へ出力する。表示出力処理回路25は、マイコン22から出力された画像信号に基づき表示器32へ駆動信号を出力する。外部メモリ26は、複数種類の音声信号および画像信号を記憶している。
The ECU 20 includes a
携帯端末10が通信端末3から文章データを含むメールを受信すると、その文章データ(着信メッセージ)をECU20へ送信する。ECU20は、着信メッセージを音声信号に変換してスピーカ30へ出力する。つまり、スピーカ30は、着信メッセージを読上げる音声を出力する読上げ装置を提供し、ECU20は、読上げ装置の作動状態を制御する読上げ制御装置を提供することとなる。そして、運転者はハンズフリーで着信メッセージの内容を把握できる。なお、読上げ装置により音声出力される内容の文章は、表示器32にも表示される。
When the
ECU20は、着座センサ33の検出結果に基づき、車両乗員が運転者だけなのか、運転者以外の同乗者が存在するのか否かを判定する。ECU20は、このような同乗者有無の判定結果、携帯端末10から取得した着信メッセージ、他のECU34から取得した車両情報、マイク31で検出した音声等の情報に基づき、読上げ装置としてのスピーカ30の作動を制御する。以下、この制御の内容について詳述する。
Based on the detection result of the
マイコン22は、内部メモリ22mに予め記憶されているプログラムにしたがって各種処理を実行することで、以下に説明する許可手段22a、継続中断手段22b、強制中断手段22c、自動返信手段22d、および読上げ順決定手段22eを提供する。
The
許可手段22aは、以下に説明する条件(1)〜(4)の全てを満たしていることを条件に、読上げ装置による音声出力の開始を許可する。条件(1)は、運転者にとっての運転負荷が所定未満である低負荷状態であることである。運転負荷とは、運転者が車両1を運転操作する時に運転者が担う負荷である。例えば、ETCゲート通過時や、カーブ走行時、分岐路運転時、車線変更時、交差点進入時、交差点走行時には、運転者にとっての運転負荷が高い状態であると言える。そして、運転負荷が高い時には、運転に対する高い集中力が運転者に要求される。
The
条件(2)は、携帯端末10が受信したメールの内容に、場所、時間または緊急性に関する内容が含まれていることである。条件(3)は、携帯端末10が受信したメールの送信元(例えば通信端末3)が許可された送信元であることである。上記「許可された送信元」の具体例としては、携帯端末10のアドレス帳に登録されている通信端末3や、該アドレス帳に登録されている通信端末3のうち、ユーザ等により許可登録された通信端末3が挙げられる。条件(4)は、運転者以外の同乗者が車両1の室内に存在していないことである。同乗者の有無は、着座センサ33の検出結果に基づき判定される。
Condition (2) is that the content of the mail received by the
マイコン22は、取得した車両情報に基づき運転負荷を数値化する演算を実行する。例えば、車両1の現在位置とETCゲートまでの距離が短いほど運転負荷数値は大きい値に演算される。また、カーブ走行時や分岐路運転時の車速が大きいほど運転負荷数値は大きい値に演算される。マイコン22は、演算された運転負荷数値が第1閾値未満(所定未満)であれば低負荷状態であると判定し、第2閾値以上(所定度合い以上)であれば高負荷状態であると判定し、第1閾値以上かつ第2閾値未満であれば中負荷状態であると判定する。第2閾値は第1閾値よりも大きい。高負荷状態および中負荷状態を総称して非低負荷状態とも呼ぶ。
The
継続中断手段22bは、読上げ装置による音声出力の最中に低負荷状態から中負荷状態に変化した場合に、中負荷状態に変化した時点で直ぐに音声出力を停止させずに、着信メッセージの最適箇所まで音声出力を継続させる。そして、最適箇所まで音声出力を実施した後に音声出力を停止させて、着信メッセージの読上げを中断(以下、継続中断と記載)する。上記最適箇所とは、着信メッセージの文章に含まれている句読点、絵文字および記号の箇所である。マイコン22は、着信メッセージに係るテキストデータを解析して、上記最適箇所を判別する。
The
強制中断手段22cは、読上げ装置による音声出力の最中に低負荷状態から高負荷状態に変化した場合に、高負荷状態に変化した時点で直ぐに音声出力を停止させて、着信メッセージの読上げを強制的に中断(以下、強制中断と記載)する。なお、継続中断または強制中断により読上げを中断している期間中は、読上げ内容を表示器32へ表示させることも禁止する。つまり読上げとともに表示も中断させる。
Forcibly interrupting
自動返信手段22dは、継続中断または強制中断が所定時間以上継続したことを条件として、着信メッセージの送信元、つまり図1の例では通信端末3へ、所定のメッセージを自動返信する。例えば「只今、車の運転中です」といったメッセージを自動返信する。このメッセージは、外部メモリ26等の記憶手段に予め記憶された定形文章、またはユーザが予め記憶設定させておいた文章である。また、自動返信手段22dは、着信メッセージの送信元が許可された送信元であることを条件として自動返信を行う。例えば、先述した条件(3)と同様にして、アドレス帳に登録されている通信端末3や、該アドレス帳に登録されている通信端末3のうち、ユーザ等により許可登録された通信端末3を「許可された送信元」とすればよい。つまり、家族や友人のメールアドレスを許可登録するように予め設定しておけばよい。
The automatic reply means 22d automatically replies a predetermined message to the sender of the incoming message, that is, the
読上げ順決定手段22eは、未読の着信メッセージが複数存在する場合に、読上げ装置により読上げる順番を決定する。具体的には、着信メッセージの本文の内容やタイトルの内容、これらの内容の文章の長さ、つまりテキストデータの大きさ、送信元、等に基づき読上げ順を決定する。例えば、着信メッセージの内容に基づき読上げ順を決定する場合には、場所、時間または緊急性に関する内容が着信メッセージに含まれているか否かを、テキストデータの解析により判定する。含まれていると判定された場合には、読上げる順番を先の方へ繰り上げる。例えば、着信メッセージの文章が長いほど、読上げる順番を先の方へ繰り上げる。例えば、着信メッセージの送信元が予め設定しておいたアドレスであれば、読上げる順番を先の方へ繰り上げる。
The reading
次に、読上げ装置による読上げの途中で非低負荷状態になったことに起因して、その読上げを一時中断する場合の例について説明する。 Next, an example in which reading is temporarily interrupted due to a non-low-load state during reading by the reading device will be described.
図2は、継続中断手段22bによる継続中断の一態様を表したタイムチャートである。先ず、運転負荷が低負荷である時に携帯端末10に新規メールが着信すると、新規メールの着信があった旨の音声信号をマイコン22は出力する。これにより、例えば図2(b)に示すように「メールを着信しました」といった案内の音声がスピーカ30から出力される。その後、その新規メールを読上げるか否かの判断を仰ぐ音声信号をマイコン22は出力する。これにより、例えば図2(c)に示すように「読上げますか?」といった問合せの音声がスピーカ30から出力される。
FIG. 2 is a time chart showing one mode of continuous interruption by the continuous interruption means 22b. First, when a new mail arrives at the
その後、ユーザ(車両乗員)による「はい」といった応答の如く(図2(d)参照)、読み上げを希望する旨の応答の音声がマイク31により検出されると、新規メールの内容を読上げる音声信号をマイコン22は出力する。これにより、新規メールの内容の音声がスピーカ30から出力される。つまり、新規メールの読上げが開始する。
After that, when the microphone 31 detects a voice response indicating that the user (vehicle occupant) wants to read out, such as a “yes” response (see FIG. 2D), the voice reads out the contents of the new mail. The
図2(a)に示す例では、読上げ開始のt1時点の後、読上げ途中であるt2時点で、運転負荷が低負荷から中負荷に変化している。そのため、上記読上げが継続中断手段22bにより中断される。但し、t2時点で強制的に中断することはせず、最適箇所まで音声出力を継続させる。そして、最適箇所まで読上げたt3時点で読上げを中断(継続中断)させる。図2(e)に示す例では、新規メールが4つの文(1)(2)(3)(4)からなる文章である場合において、最初の文(1)の読上げ途中のt2時点で中負荷に変化している。そして、文(1)を最後まで読上げるように文章の読上げを継続し、文(1)の読上げが完了したt3時点で文章全体の読上げを中断している。つまり、文章全体のうち、文(1)と文(2)の境目が最適箇所である。
In the example shown in FIG. 2A, the driving load is changed from a low load to a medium load at a time t2 during the reading after a time t1 when the reading is started. For this reason, the reading is interrupted by the continuous interrupting
その後、t4時点で運転負荷が中負荷から低負荷に変化しており、このt4時点で文章の読上げを再開している。つまり、読上げが完了している文(1)の次の文(2)から読上げを開始する。その後、残りの文(3)(4)の読上げが完了して文章全体の読上げが完了したt5時点で、読上げ装置の作動を停止させる。 Thereafter, the driving load changes from a medium load to a low load at time t4, and reading of the text is resumed at time t4. That is, reading is started from the sentence (2) next to the sentence (1) that has been read out. Thereafter, at time t5 when reading of the remaining sentences (3) and (4) is completed and reading of the entire sentence is completed, the operation of the reading apparatus is stopped.
図3は、強制中断手段22cによる強制中断の一態様を表したタイムチャートである。先ず、図2と同様にして、低負荷状態時に新規メールが着信すると案内および問合せの音声を出力する(図3(b)(c)参照)。その後、読み上げ希望の音声がマイク31により検出されると、新規メールの読上げが開始する(図3(d)(e)参照)。 FIG. 3 is a time chart showing one mode of forced interruption by the forced interruption means 22c. First, as in FIG. 2, when a new mail arrives in a low load state, guidance and inquiry voices are output (see FIGS. 3B and 3C). Thereafter, when a voice desired to be read is detected by the microphone 31, reading of a new mail starts (see FIGS. 3D and 3E).
図3(a)に示す例では、読上げ開始のt1時点の後、読上げ途中であるt2時点で、運転負荷が低負荷から高負荷に変化している。そのため、上記読上げが強制中断手段22cにより中断される。この中断では、文(1)の読上げ完了を待たずして、文(1)の読上げ途中で強制的に中断(強制中断)させる。 In the example shown in FIG. 3A, the driving load is changed from a low load to a high load at a time t2 during the reading after a time t1 when the reading is started. For this reason, the reading is interrupted by the forced interruption means 22c. In this interruption, the reading of the sentence (1) is not waited for completion, and the reading of the sentence (1) is forcibly interrupted (forced interruption).
その後、運転負荷が高負荷から低負荷に変化したt4時点で、文章の読上げを再開している。この再開では、読上げ途中であった文(1)の中断箇所から読上げを開始するのではなく、その中断箇所よりも戻った箇所から開始する。図3の例では、文(1)の最初に戻って再開する。その後、残りの文(2)(3)(4)の読上げが完了して文章全体の読上げが完了したt6時点で、読上げ装置の作動を停止させる。 Thereafter, at a time point t4 when the driving load changes from a high load to a low load, the reading of the text is resumed. In this resumption, reading is not started from the interruption position of the sentence (1) that was in the middle of reading, but is started from a position returning from the interruption position. In the example of FIG. 3, it returns to the beginning of sentence (1) and resumes. Thereafter, at time t6 when reading of the remaining sentences (2), (3), and (4) is completed and reading of the entire sentence is completed, the operation of the reading apparatus is stopped.
次に、マイコン22による、読上げ装置の作動を制御する処理の手順について、図4および図5を用いて説明する。図4および図5のフローチャートは、ECU20が携帯端末10と通信している期間中、マイコン22により所定周期で繰返し実行される。
Next, a process procedure for controlling the operation of the reading apparatus by the
先ず、図4のステップS10において、携帯端末10が受信したメールのうち、未読メールが有るか否かを判定する。未読メールが有ると判定された場合には、次のステップS11において、運転負荷が低負荷状態であるか否かを判定する。つまり、先述した運転負荷数値が第1閾値未満であれば低負荷状態であると判定する。低負荷状態であることは、先述した許可手段22a(図1参照)による読上げ許可の条件(1)に該当する。
First, in step S10 in FIG. 4, it is determined whether or not there is an unread mail among the mails received by the
低負荷状態であると判定された場合にはステップS12に進み、許可手段22aによる読上げ許可の他の条件(2)(3)(4)を満たしているか否かを判定する。これらの条件(2)〜(4)は先述した通りであり、メールの内容、送信元、同乗者の有無に基づき判定される。
If it is determined that the load is low, the process proceeds to step S12, and it is determined whether the other conditions (2), (3), and (4) for permitting reading by the
これら他の条件(2)〜(4)も全て満たしていると判定された場合には、ステップS13に進み、図2(b)および図3(b)にて例示した如く、未読メールが有る旨を案内する音声信号を出力する。続くステップS14では、図2(c)および図3(c)にて例示した如く、未読メールを読み上げるか否かをユーザに問い合わせる音声信号を出力する。 If it is determined that all of these other conditions (2) to (4) are also satisfied, the process proceeds to step S13, and there is unread mail as illustrated in FIGS. 2 (b) and 3 (b). An audio signal that indicates the effect is output. In the subsequent step S14, as exemplified in FIGS. 2C and 3C, an audio signal for inquiring the user whether or not to read the unread mail is output.
続くステップS15では、ステップS14による問合せに対して、読上げを許可するユーザの許可音声がマイク31に入力されたか否かを判定する。図2(d)および図3(d)にて例示した如く、許可音声が入力されたと判定された場合には、続くステップS16において、読上げフラグをオンに設定する。 In a succeeding step S15, it is determined whether or not the permission sound of the user who permits the reading is input to the microphone 31 in response to the inquiry in the step S14. As illustrated in FIGS. 2D and 3D, when it is determined that the permission voice is input, the reading flag is set to ON in the subsequent step S16.
次に、図5のステップS20では、読上げフラグがオンに設定されているか否かを判定する。読上げフラグがオンに設定されていると判定された場合、次のステップS21において、読上げ対象である未読メールの読上げを開始するよう、読上げ装置の作動を制御する。つまり、未読メールの内容を表したテキストデータを音声信号に変換し、その音声信号の出力を開始する。 Next, in step S20 in FIG. 5, it is determined whether or not the reading flag is set to ON. If it is determined that the reading flag is set to ON, the operation of the reading device is controlled to start reading unread mail to be read in the next step S21. That is, the text data representing the contents of the unread mail is converted into an audio signal, and output of the audio signal is started.
続くステップS22では、ステップS21で開始した読上げが完了したか否かを判定する。例えば、図2(e)および図3(e)に例示する文章の場合、最後の文(5)の読上げが完了したか否かを判定する。文章全体の読上げが完了したと判定された場合、次のステップS23において、読上げフラグをオフに設定する。文章全体の読上げが完了していないと判定された場合、続くステップS24において、運転負荷が低負荷状態から高負荷状態に変化したか否かを判定する。つまり、先述した運転負荷数値が第1閾値未満の状態から第2閾値以上の状態に変化したか否かを判定する。高負荷状態に変化したと判定された場合、続くステップS25において、図3(e)にて例示した如く、強制中断手段22cによる読上げの強制中断を実行する。 In a succeeding step S22, it is determined whether or not the reading started in the step S21 is completed. For example, in the case of the sentences illustrated in FIGS. 2E and 3E, it is determined whether or not the reading of the last sentence (5) has been completed. If it is determined that reading of the entire sentence has been completed, the reading flag is set to OFF in the next step S23. If it is determined that reading of the entire sentence has not been completed, it is determined in subsequent step S24 whether or not the driving load has changed from the low load state to the high load state. That is, it is determined whether or not the operating load numerical value described above has changed from a state below the first threshold to a state above the second threshold. When it is determined that the load has changed to the high load state, in the subsequent step S25, as shown in FIG. 3E, the forced interruption of the reading by the forced interruption means 22c is executed.
一方、ステップS24にて高負荷状態への変化が生じていないと判定された場合、続くステップS26にて運転負荷が低負荷状態から中負荷状態に変化したか否かを判定する。つまり、先述した運転負荷数値が第1閾値以上かつ第2閾値未満の状態に変化したか否かを判定する。中負荷状態に変化したと判定された場合、続くステップS27、S28において、継続中断手段22bによる読上げの継続中断を実行する。すなわち、先ずはステップS27により最適箇所まで読上げが継続され、その後、ステップS28において読上げを中断する。
On the other hand, if it is determined in step S24 that no change to the high load state has occurred, it is determined in subsequent step S26 whether or not the operating load has changed from the low load state to the medium load state. In other words, it is determined whether or not the operating load numerical value described above has changed to a state of the first threshold value or more and less than the second threshold value. When it is determined that the state has changed to the medium load state, in the subsequent steps S27 and S28, the continuous interruption of the reading by the
なお、ステップS24、S26のいずれにおいても否定判定された場合、つまり低負荷状態が維持されている場合には、ステップS22に戻って処理を繰り返す。したがって、読上げ開始から読上げ完了まで低負荷状態が継続された場合には、ステップS25、S28による読上げの中断が実行されることなく読上げが完了して、読上げフラグがオンからオフに切り替わる。 If a negative determination is made in either step S24 or S26, that is, if the low load state is maintained, the process returns to step S22 and the process is repeated. Therefore, when the low load state is continued from the start of reading to the completion of reading, reading is completed without executing reading interruption in steps S25 and S28, and the reading flag is switched from on to off.
ステップS25、S28により読上げが中断された場合、続くステップS29にて読上げを待機し、続くステップS30にて運転負荷が低負荷状態に復帰したか否かを判定する。つまり、高負荷状態または中負荷状態から低負荷状態に変化したか否かを判定する。低負荷状態に復帰していないと判定された場合には、ステップS29に戻って読上げ待機を継続させる。一方、低負荷状態に復帰したと判定された場合には、次のステップS31に進み、中断している未読メールの読み上げを再開するか否かについて、ユーザに問い合わせる音声信号を出力する。続くステップS32では、ステップS31による問合せに対して、読上げ再開を許可するユーザの許可音声がマイク31に入力されたか否かを判定する。 If the reading is interrupted in steps S25 and S28, the reading is waited for in the following step S29, and it is determined whether or not the driving load has returned to the low load state in the subsequent step S30. That is, it is determined whether or not the high load state or the medium load state is changed to the low load state. If it is determined that the low load state has not been restored, the process returns to step S29 to continue reading standby. On the other hand, if it is determined that the low load state has been restored, the process proceeds to the next step S31, and a voice signal for inquiring the user as to whether or not to resume reading of the suspended unread mail is output. In subsequent step S <b> 32, it is determined whether or not the permission sound of the user who is permitted to resume reading is input to the microphone 31 in response to the inquiry in step S <b> 31.
ステップS31による問合せから所定時間以内に許可音声が入力されない場合には、ステップS23に進み、読上げフラグをオフに設定する。その結果、読上げは再開されずに、該当する未読メールの読上げを中断したまま終了させることとなる。一方、ステップS32にて許可音声の入力があると判定された場合には、再開させようとしている読上げが、強制中断からの再開であるか否かを判定する。換言すれば、現在の中断が強制中断および継続中断のいずれであるかを判定する。 If the permission voice is not input within a predetermined time from the inquiry in step S31, the process proceeds to step S23, and the reading flag is set to OFF. As a result, the reading is not resumed, and the reading of the corresponding unread mail is terminated while being interrupted. On the other hand, if it is determined in step S32 that permission speech has been input, it is determined whether or not the reading to be resumed is a restart from a forced interruption. In other words, it is determined whether the current interruption is a forced interruption or a continuous interruption.
強制中断からの再開であると判定された場合には、ステップS34に進み、中断箇所より戻った箇所から読上げを再開する。この再開箇所は、句読点や絵文字、記号等の箇所に設定されている。一方、強制中断からの再開ではないと判定された場合、つまり継続中断からの再開であると判定された場合には、中断箇所(つまり最適箇所)から読上げを再開する。 If it is determined that the process is resumed from the forced interruption, the process proceeds to step S34, and the reading is resumed from the position returned from the interruption position. This resuming point is set at a point such as a punctuation mark, a pictograph or a symbol. On the other hand, when it is determined not to restart from the forced interruption, that is, when it is determined to restart from the continuous interruption, reading is resumed from the interruption point (that is, the optimum point).
そして、ステップS34、S35にて読上げを再開した後、ステップS22に戻って処理を繰り返す。したがって、読上げ再開から読上げ完了まで低負荷状態が継続された場合には、読上げフラグがオンからオフに切り替わる。また、再開後に再び非低負荷状態に変化した場合には、読上げの中断が再度実行されることとなる。 Then, after reading is resumed in steps S34 and S35, the process returns to step S22 and the process is repeated. Therefore, when the low load state is continued from the resumption of reading to the completion of reading, the reading flag is switched from on to off. Further, when the state changes again to the non-low load state after restarting, the reading is interrupted again.
以上により、本実施形態によれば、低負荷状態であることを条件に未読メールの読上げ開始を許可する許可手段22aを備える。そのため、非低負荷状態時に読上げることが回避されるので、運転に対する高い集中力が要求される時に、読上げにより集中力を低下させてしまうおそれを低減できる。或いは、運転に集中していることに起因して読上げられた内容を把握できなくなるおそれを低減できる。
As described above, according to the present embodiment, the
さらに本実施形態では、読上げの最中に低負荷状態から非低負荷状態に変化した場合に、未読メールの最適箇所まで読上げを継続させ、その後に読上げを中断する継続中断手段22bを備える。そのため、句読点や絵文字、記号等の最適箇所まで読上げてから中断させるようにできるので、複数の文(1)(2)(3)(4)からメール文章が構成されている場合において、読上げ途中の文(1)については最後まで読上げるようにできる。よって、読上げ途中の文(1)については十分に内容を把握できた後に中断されるので、文の途中で強制的に中断させることによる利便性低下を抑制できる。
Further, in the present embodiment, there is provided a
さらに本実施形態では、継続中断手段22bに加えて強制中断手段22cを備える。そのため、低負荷状態から中負荷状態に変化した場合には継続中断手段22bによる継続と中断を実行する一方で、高負荷状態に変化した場合には、上記継続を実施することなく直ぐに強制中断する。 Furthermore, in this embodiment, in addition to the continuous interruption means 22b, the forced interruption means 22c is provided. For this reason, when the load is changed from the low load state to the medium load state, the continuation and interruption by the continuation interruption means 22b is executed. On the other hand, when the change is made to the high load state, the forced interruption is immediately performed without performing the continuation. .
そのため、読上げ途中で高負荷状態に変化した場合には、最適箇所まで読上げを継続させることよりも直ぐに中断させることが優先されるので、運転に対する集中力が読上げにより低下するおそれを一刻も早く低減できる。それでいて、読上げ途中で中負荷状態に変化した場合には、直ぐに中断させることよりも最適箇所まで読上げを継続させることが優先されるので、ハンズフリー読上げによる利便性が損なわれることを抑制できる。 For this reason, if it changes to a high load state during reading, priority is given to interrupting reading immediately rather than continuing reading to the optimal location, thus reducing the possibility of a decrease in concentration on driving due to reading as soon as possible. it can. Nevertheless, when the medium is changed to a middle load state during reading, priority is given to continuing reading to the optimum place rather than immediately interrupting, so that it is possible to prevent the convenience of hands-free reading from being impaired.
さらに本実施形態では、強制中断手段22cにより強制中断を実施した後、非低負荷状態から低負荷状態に変化して中断していた読上げを再開する場合には、着信メッセージのうち中断箇所よりも戻った箇所から再開する。 Further, in the present embodiment, after the forced interruption is performed by the forced interruption means 22c, when the reading that has been interrupted by changing from the non-low load state to the low load state is resumed, the incoming message is more than the interruption point. Resume from where it returned.
さて、強制中断により中断された文(1)は、最適箇所まで読上げられていないので、ユーザはその文の内容を十分に理解できていない蓋然性が高い。そして、本実施形態に反して読上げ再開を中断箇所から実施しても、その文(1)の中断箇所の前後の内容を繋げて理解することは困難である。よって、文(1)の内容を十分に理解できない。これに対し本実施形態では、強制中断により中断された文(1)については、中断箇所よりも戻った箇所から再開して読み上げるので、文(1)の内容を十分に理解できないままになることを抑制できる。 Now, since the sentence (1) interrupted by the forced interruption is not read out to the optimum place, it is highly likely that the user cannot fully understand the contents of the sentence. And even if resumption of reading is carried out from the interrupted place contrary to this embodiment, it is difficult to understand the contents before and after the interrupted part of the sentence (1). Therefore, the content of sentence (1) cannot be fully understood. On the other hand, in the present embodiment, the sentence (1) suspended due to the forced interruption is resumed and read from the place where it was returned from the interruption place, so that the contents of the sentence (1) are not fully understood. Can be suppressed.
さらに本実施形態では、継続中断または強制中断の状態が所定時間以上継続したことを条件として、着信メッセージに対して所定のメッセージを自動返信する自動返信手段22dを備える。そのため、メールの送信元である通信端末3のユーザに対して、返信が無いことによる不安感を与えてしまうことを回避できる。
Furthermore, the present embodiment includes an
さらに本実施形態では、自動返信手段22dは、着信メッセージの送信元が許可された送信元であることを条件として自動返信を行う。そのため、迷惑メール等の許可していない送信元にまで自動返信してしまうことを回避できる。
Further, in the present embodiment, the
さらに本実施形態では、許可手段22aによる読上げ許可の条件には、着信メッセージが場所、時間または緊急性に関する内容である、といった条件(2)や、着信メッセージの送信元が許可された送信元である、といった条件(3)も含まれている。そのため、迷惑メール等の重要度の低いメールまで読上げられてしまうことの煩わしさを回避できる。 Further, in the present embodiment, the read permission condition by the permission means 22a includes the condition (2) that the incoming message is content related to location, time, or urgency, or the transmission source that is permitted the transmission source of the incoming message. Condition (3) such as “is” is also included. Therefore, it is possible to avoid the annoyance of reading a low importance mail such as a spam mail.
さらに本実施形態では、許可手段22aによる読上げ許可の条件には、運転者以外の同乗者が車両1に存在していない、といった条件(4)も含まれている。これによれば、プライバシー性の高い内容のメール等、秘密にしたい内容のメールが同乗者に聞かれてしまうことを回避できる。
Further, in the present embodiment, the condition for permitting reading by the permission means 22a includes the condition (4) that no passenger other than the driver is present in the
さらに本実施形態では、未読の着信メッセージが複数存在する場合に、着信メッセージの内容または送信元に基づき読上げ装置による読上げの順番を決定する読上げ順決定手段22eを備える。これによれば、優先度の高い内容または送信元の着信メッセージから順番に読上げられるので、ハンズフリーでのメール読上げによる利便性を向上できる。
Further, in the present embodiment, when there are a plurality of unread incoming messages, a reading
(第2実施形態)
図6に示すように、携帯端末10が車室内に持ち込まれた車両1には、電子制御装置(ECU200)、スピーカ30、マイク31、表示器32、着座センサ33、および他の電子制御装置(他のECU34)が搭載されている。
(Second Embodiment)
As shown in FIG. 6, in the
ECU200は、通信処理回路21、マイクロコンピュータ(マイコン220)、音声出力処理回路23、音声入力処理回路24、表示出力処理回路25および外部メモリ260等を有する。通信処理回路21は、車室内に持ち込まれた携帯端末10と無線通信するインターフェイス回路である。音声出力処理回路23は、マイコン220から出力された音声信号に基づきスピーカ30へ駆動信号を出力する。音声入力処理回路24は、マイク31で検出したアナログの音声信号をデジタル信号に変換してマイコン220へ出力する。表示出力処理回路25は、マイコン220から出力された画像信号に基づき表示器32へ駆動信号を出力する。外部メモリ260は、複数種類の音声信号および画像信号を記憶している。
The
携帯端末10は、インターネット回線または電話回線を通じて通信端末3と通話する機能を有する。ECU200は、スピーカ30およびマイク31を用いて上記通話を可能にする機能を有する。つまり、スピーカ30およびマイク31は、車両の運転者によるハンズフリー通話を可能にしたハンズフリー通話装置を提供し、ECU200は、ハンズフリー通話装置の作動状態を制御する通話制御装置を提供することとなる。なお、表示器32には、通話相手の名前や静止画像、リアルタイム動画等の通話情報が表示される。
The
ECU200は、着座センサ33の検出結果に基づき、車両乗員が運転者だけなのか、運転者以外の同乗者が存在するのか否かを判定する。ECU200は、このような同乗者有無の判定結果、携帯端末10による通話の音声信号、通話情報、他のECU34から取得した車両情報、マイク31で検出した音声等の情報に基づき、ハンズフリー通話装置の作動状態を制御する。以下、この制御の内容について詳述する。
Based on the detection result of the
マイコン22は、内部メモリ220mに予め記憶されているプログラムにしたがって各種処理を実行することで、以下に説明する許可手段220a、通話保留手段220b、注意喚起手段220c、および保留時自動返信手段220dを提供する。
The
許可手段220aは、以下に説明する条件(1)〜(3)の全てを満たしていることを条件に、ハンズフリー通話装置による音声出力の開始を許可する。条件(1)は、運転者にとっての運転負荷が所定未満である低負荷状態であることである。運転負荷とは、運転者が車両1を運転操作する時に運転者が担う負荷である。例えば、ETCゲート通過時や、カーブ走行時、分岐路運転時には、運転者にとっての運転負荷が高い状態であると言える。そして、運転負荷が高い時には、運転に対する高い集中力が運転者に要求される。
The
条件(2)は、携帯端末10による通話相手(例えば通信端末3)が許可された端末であることである。条件(3)は、運転者以外の同乗者が車両1の室内に存在していないことである。同乗者の有無は、着座センサ33の検出結果に基づき判定される。
The condition (2) is that the other party (for example, the communication terminal 3) by the
マイコン220は、取得した車両情報に基づき運転負荷を数値化する演算を実行する。例えば、車両1の現在位置とETCゲートまでの距離が短いほど運転負荷数値は大きい値に演算される。また、カーブ走行時や分岐路運転時の車速が大きいほど運転負荷数値は大きい値に演算される。マイコン22は、演算された運転負荷数値が第1閾値未満(所定未満)であれば低負荷状態であると判定し、第2閾値以上(所定度合い以上)であれば高負荷状態であると判定し、第1閾値以上かつ第2閾値未満であれば中負荷状態であると判定する。第2閾値は第1閾値よりも大きい。高負荷状態および中負荷状態を総称して非低負荷状態とも呼ぶ。
The
通話保留手段220bは、ハンズフリー通話装置による通話の最中に低負荷状態から高負荷状態に変化した場合に、通話を保留状態にする。保留状態とは、携帯端末10および通信端末3が通信を継続した状態ではあるが、通話はできない状態である。具体的には、保留状態では、通信端末3から携帯端末10へ送信された音声信号をスピーカ30へ出力することを禁止して、通話相手の音声を聞くことができなくする。また、マイク31で検出された音声の信号を携帯端末10から通信端末3へ送信することを禁止する。
The
但し、通話の最中に中負荷状態に変化した場合には、通話保留手段220bによる通話保留を実施することなく通話を継続可能とするように、ECU200はハンズフリー通話装置を制御する。また、通話保留手段220bにより保留状態にする場合には、保留状態であることを通話相手に自動で通知する。
However, the
注意喚起手段220cは、通話の最中に低負荷状態から中負荷状態に変化した場合に、中負荷状態で通話を継続していることに対して、車両運転者に注意喚起する。注意喚起手段の具体例としては、注意喚起内容の音声をスピーカ30から出力させたり、警告音を鳴らしたり、ステアリングホイールや座席を振動させたりすることが挙げられる。
The alerting means 220c alerts the vehicle driver that the call is continued in the medium load state when the low load state is changed to the medium load state during the call. Specific examples of the alerting means include outputting the alerting sound from the
保留時自動返信手段220dは、通話保留手段220bによる保留状態が所定時間以上継続したことを条件として、所定音の信号を通信端末3へ自動返信する。例えば保留状態を想起させるメロディを所定音として自動返信したり、「只今、車の運転中です」といったメッセージを所定音として自動返信したりする。該所定音は、外部メモリ260等の記憶手段に予め記憶された定形音、またはユーザが予め記憶設定させておいた音である。また、保留時自動返信手段220dは、通話の相手端末(通信端末3)が許可された端末であることを条件として自動返信を行う。例えば、家族や友人の端末を許可するように予め設定しておけばよい。
The on-hold automatic reply means 220d automatically replies a signal of a predetermined sound to the
次に、ハンズフリー通話装置による通話の途中で非低負荷状態になった場合の、通話制御装置による制御の例について説明する。 Next, an example of control by the call control device when a non-low load state occurs during a call by the hands-free call device will be described.
図7は、注意喚起手段220cによる注意喚起の一態様を表したタイムチャートである。先ず、運転負荷が低負荷状態であるt1時点で通話を開始している。この通話開始は、通信端末3からの通話要求への応答によるものであっても良いし、携帯端末10からの通話要求によるものであっても良い。
FIG. 7 is a time chart showing an aspect of alerting by the alerting means 220c. First, a call is started at time t1 when the driving load is in a low load state. This call start may be a response to a call request from the
また、通信端末3からの通話要求があった場合には、その旨を運転者へ報知する音声を自動で出力する。例えば、「通話の着信があります」等の音声をスピーカ30から出力する。そして、この報知音声に対して運転者による「はい」等の許可音声をマイク31が検出した場合に通話を開始させる。
When there is a call request from the
図7(a)に示す例では、通話開始のt1時点の後、通話途中であるt2時点で、運転負荷が低負荷から中負荷に変化している。そのため、通話保留手段220bにより通話を保留状態にすることはないものの、注意喚起手段220cによる運転者への注意喚起がt2時点で実行される。
In the example shown in FIG. 7A, the driving load changes from a low load to a medium load at time t2 during the call after time t1 when the call starts. Therefore, although the
その後、t3時点で運転負荷が中負荷から低負荷に変化しており、その後のt4時点で、通信端末3または携帯端末10のユーザによる操作により通話が終了し、ハンズフリー通話装置を停止させている。
Thereafter, the driving load changes from medium load to low load at time t3, and at time t4 thereafter, the call is terminated by the operation of the user of the
図8は、通話保留手段220bによる通話保留の一態様を表したタイムチャートである。先ず、図7と同様にして、低負荷状態であるt1時点で通話を開始している。この通話開始は、通信端末3からの通話要求への応答によるものであっても良いし、携帯端末10からの通話要求によるものであっても良い。また、通信端末3からの通話要求があった場合には、図7と同様にして、その旨を運転者へ報知する音声を自動で出力し、許可音声をマイク31が検出した場合に通話を開始させる。
FIG. 8 is a time chart showing an aspect of call holding by the call holding means 220b. First, as in FIG. 7, a call is started at time t1 when the load is low. This call start may be a response to a call request from the
図8(a)に示す例では、通話開始のt1時点の後、通話途中であるt2時点で、運転負荷が低負荷から高負荷に変化している。そのため、通話保留手段220bにより通話を保留状態にする。この時、運転負荷が高負荷状態であることを理由に保留状態に切り替えた旨を、自動音声で運転者へ報知してもよい。 In the example shown in FIG. 8A, the driving load is changed from a low load to a high load at the time t2 during the call after the time t1 at the start of the call. Therefore, the call is placed on hold by the call holding means 220b. At this time, the driver may be notified with an automatic voice that the driving load is switched to the hold state because of the high load state.
その後、t3時点で運転負荷が高負荷から低負荷に変化しており、そのt3時点で保留状態を解除して通話可能な状態に切り替える。その後のt4時点で、通信端末3または携帯端末10のユーザによる操作により通話が終了し、ハンズフリー通話装置を停止させている。
Thereafter, the driving load changes from a high load to a low load at time t3, and the hold state is canceled at time t3 to switch to a state in which a call can be made. Thereafter, at time t4, the call is ended by the operation of the user of the
次に、マイコン220による、ハンズフリー通話装置の作動を制御する処理の手順について、図9および図10を用いて説明する。図9および図10のフローチャートは、ECU200が携帯端末10と通信している期間中、マイコン220により所定周期で繰返し実行される。
Next, a procedure of processing for controlling the operation of the hands-free communication device by the
先ず、図9のステップS40において、通信端末3または携帯端末10からの通話要求が有るか否かを判定する。通話要求が有ると判定された場合には、次のステップS41において、運転負荷が低負荷状態であるか否かを判定する。つまり、先述した運転負荷数値が第1閾値未満であれば低負荷状態であると判定する。低負荷状態であることは、先述した許可手段220a(図6参照)によるハンズフリー通話の許可の条件(1)に該当する。
First, in step S40 of FIG. 9, it is determined whether or not there is a call request from the
低負荷状態であると判定された場合にはステップS42に進み、許可手段220aによるハンズフリー通話許可の他の条件(2)(3)を満たしているか否かを判定する。これらの条件(2)(3)は先述した通りであり、通話相手が許可端末であるか否か、および同乗者の有無に基づき判定される。これら他の条件(2)(3)も全て満たしていると判定された場合には、続くステップS43において、通話フラグをオンに設定する。
If it is determined that the load is low, the process proceeds to step S42, and it is determined whether or not other conditions (2) and (3) for allowing the hands-free call by the
次に、図10のステップS50では、通話フラグがオンに設定されているか否かを判定する。通話フラグがオンに設定されていると判定された場合、次のステップS51において、ハンズフリー通話を可能にするよう、ハンズフリー通話装置の作動を制御する。 Next, in step S50 of FIG. 10, it is determined whether or not the call flag is set to ON. If it is determined that the call flag is set to ON, in the next step S51, the operation of the hands-free call device is controlled so as to enable hands-free call.
続くステップS52では、ハンズフリー通話が終了したか否かを判定する。例えば、携帯端末10と通信端末3との通信がユーザ操作等により遮断された場合に、ハンズフリー通話が終了したと判定する。通話が終了したと判定された場合、次のステップS53において、通話フラグをオフに設定する。通話が終了していないと判定された場合、続くステップS54において、運転負荷が低負荷状態から高負荷状態に変化したか否かを判定する。つまり、先述した運転負荷数値が第1閾値未満の状態から第2閾値以上の状態に変化したか否かを判定する。高負荷状態に変化したと判定された場合、続くステップS55において、図8(b)にて例示した如く、通話保留手段220bによる通話状態から通話保留状態への強制的な切り替えを実行する。
In a succeeding step S52, it is determined whether or not the hands-free call is ended. For example, when communication between the
続くステップS56では、運転負荷が高負荷状態から低負荷状態に復帰したか否かを判定する。低負荷状態に復帰していないと判定された場合には、ステップS55に戻って保留状態を継続させる。低負荷状態に復帰したと判定された場合には、次のステップS57に進み、保留状態を解除して、ハンズフリー通話が可能な状態に復帰させる。 In subsequent step S56, it is determined whether or not the operating load has returned from the high load state to the low load state. If it is determined that the low load state has not been restored, the process returns to step S55 to continue the hold state. If it is determined that the low load state has been restored, the process proceeds to the next step S57, where the on-hold state is canceled and a state in which a hands-free call is possible is restored.
一方、ステップS54にて高負荷状態への変化が生じていないと判定された場合、続くステップS58にて運転負荷が低負荷状態から中負荷状態に変化したか否かを判定する。つまり、先述した運転負荷数値が第1閾値以上かつ第2閾値未満の状態に変化したか否かを判定する。中負荷状態に変化したと判定された場合、続くステップS59において、注意喚起手段220cによる注意喚起を実行する。 On the other hand, if it is determined in step S54 that no change to the high load state has occurred, it is determined in subsequent step S58 whether or not the operating load has changed from the low load state to the medium load state. In other words, it is determined whether or not the operating load numerical value described above has changed to a state of the first threshold value or more and less than the second threshold value. When it is determined that the state has changed to the medium load state, in the subsequent step S59, alerting by the alerting means 220c is executed.
なお、ステップS54、S58のいずれにおいても否定判定された場合、つまり低負荷状態が維持されている場合には、ステップS52に戻って処理を繰り返す。したがって、ハンズフリー通話の開始から終了まで低負荷状態が継続された場合には、ステップS55による通話保留や、ステップS59による注意喚起が実行されることなく通話が終了して、通話フラグがオンからオフに切り替わる。そして、ステップS57による保留解除またはステップS59による注意喚起を実行した後では、ステップS52に戻って処理を繰り返す。 If a negative determination is made in either step S54 or S58, that is, if the low load state is maintained, the process returns to step S52 and the process is repeated. Therefore, when the low load state is continued from the start to the end of the hands-free call, the call is ended without executing the call hold in step S55 or the alert in step S59, and the call flag is turned on. Switch off. Then, after executing the hold release in step S57 or the alert in step S59, the process returns to step S52 and the process is repeated.
以上により、本実施形態によれば、低負荷状態であることを条件にハンズフリー通話の開始を許可する許可手段220aを備える。そのため、非低負荷状態時にハンズフリー通話を開始することが回避されるので、運転に対する高い集中力が要求される時に、ハンズフリー通話により集中力を低下させてしまうおそれを低減できる。
As described above, according to the present embodiment, the
さらに本実施形態では、ハンズフリー通話の最中に低負荷状態から中負荷状態に変化した場合に、運転負荷が低くない状態での通話を実施していることに対する注意喚起をする注意喚起手段220cを備える。そのため、高負荷状態でのハンズフリー通話が禁止されるので、高負荷状態での運転集中力低下を抑制できる。 Further, in the present embodiment, when changing from a low load state to a medium load state during a hands-free call, an alerting means 220c for alerting the user that the call is not being performed with a low driving load. Is provided. Therefore, since hands-free calling in a high load state is prohibited, it is possible to suppress a decrease in driving concentration in a high load state.
さらに本実施形態では、ハンズフリー通話の最中に中負荷状態に変化した場合に、通話を保留にすることなく継続可能にしつつ注意喚起する注意喚起手段220cを備える。そのため、中負荷状態に変化した場合には、通話を継続可能にしつつ注意喚起するので、切りの良いタイミングで通話を中断したり、直ぐに通話を中断したり、そのまま通話を継続したりする等、通話状態を運転者の判断に委ねることができる。よって、中負荷状態では、通話途中で強制的に保留することによる利便性低下を抑制できる。 Furthermore, in the present embodiment, when the hand-free call is changed to a medium load state during the hands-free call, the call-up means 220c is provided to call attention while allowing the call to be continued without being put on hold. Therefore, when it changes to a medium load state, it will alert you while allowing the call to continue, so you can interrupt the call at a good timing, interrupt the call immediately, continue the call as it is, The call state can be left to the judgment of the driver. Therefore, in a medium load state, it is possible to suppress a decrease in convenience due to forcibly holding during a call.
さらに本実施形態では、許可手段220aによる通話許可の条件には、通話の相手端末が許可された端末であるといった条件(2)も含まれている。そのため、迷惑電話等の重要度の低い通話にまで、ハンズフリー通話装置により通話可能な状態になることの煩わしさを回避できる。
Further, in the present embodiment, the condition for permitting the call by the permitting
さらに本実施形態では、許可手段220aによる許可の条件には、運転者以外の同乗者が車両1に存在していないといった条件(3)も含まれている。これによれば、プライバシー性の高い通話内容等、秘密にしたい内容の通話が同乗者に聞かれてしまうことを回避できる。
Furthermore, in the present embodiment, the condition for permission by the permission means 220a includes a condition (3) in which no passenger other than the driver is present in the
さらに本実施形態では、通話保留手段220bによる保留状態が所定時間以上継続したことを条件として、所定音を自動返信する保留時自動返信手段220dを備える。そのため、通話相手である通信端末3のユーザに対して、自動で保留状態に切り替わったことによる不安感を与えてしまうことを回避できる。
Furthermore, the present embodiment includes an on-hold
さらに本実施形態では、保留時自動返信手段220dは、通話の相手端末が許可された端末であることを条件として自動返信を行う。そのため、迷惑電話等の許可していない相手端末にまで自動返信してしまうことを回避できる。
Furthermore, in the present embodiment, the on-hold
(他の実施形態)
以上、発明の好ましい実施形態について説明したが、発明は上述した実施形態に何ら制限されることなく、以下に例示するように種々変形して実施することが可能である。各実施形態で具体的に組合せが可能であることを明示している部分同士の組合せばかりではなく、特に組合せに支障が生じなければ、明示してなくとも実施形態同士を部分的に組み合せることも可能である。
(Other embodiments)
The preferred embodiments of the present invention have been described above, but the present invention is not limited to the above-described embodiments, and various modifications can be made as illustrated below. Not only combinations of parts that clearly show that combinations are possible in each embodiment, but also combinations of the embodiments even if they are not explicitly stated unless there is a problem with the combination. Is also possible.
ECU20による読上げ制御装置の機能と、ECU200による通話制御装置の機能の両方を併せ持つ制御装置、つまり上記第1および第2実施形態を組み合わせた制御装置を提供することも可能である。
It is also possible to provide a control device that has both the function of the reading control device by the
上記第1実施形態に係る読上げ制御装置では、受信したメールに対するハンズフリー読上げを制御しているが、この制御に加えて、ハンズフリーでメールを送信するように携帯端末10を制御してもよい。この場合、低負荷状態であることを条件としてメール送信を許可することが望ましい。
In the reading control apparatus according to the first embodiment, the hands-free reading for the received mail is controlled. In addition to this control, the
上記第1実施形態では、非低負荷状態から低負荷状態に戻って読上げ中断を解除するにあたり、中断箇所よりも戻った箇所から読上げを再開している。この場合において、読上げ対象となっている着信メッセージが長文であるほど、上記再開の際に戻る量を多くしてもよい。 In the first embodiment, when the reading interruption is canceled by returning from the non-low load state to the low load state, the reading is resumed from the point where the reading is returned from the interruption point. In this case, the longer the incoming message that is to be read out, the longer the amount of the message that is returned upon resumption.
上記第1実施形態では、車両の同乗者が居る場合には、読上げを禁止するとともに表示器32への読上げ内容の表示も禁止しているが、表示器32への読上げ内容の表示は許可するようにしてもよい。
In the first embodiment, when there is a passenger in the vehicle, reading is prohibited and display of the reading contents on the
図1および図6に示す実施形態では、読上げ制御装置または通話制御装置を、ECU20、200が提供しているが、本発明は制御装置をECUのみから提供することに限定されるものではなく、携帯端末10およびECUが協同して制御装置を提供してもよい。例えば、上記第1実施形態では、携帯端末10が通信端末3から受信した着信メッセージを、ECU20が音声信号に変換しているが、携帯端末10が音声信号に変換してもよい。
In the embodiment shown in FIGS. 1 and 6, the reading control device or the call control device is provided by the
上記第1実施形態に係る強制中断手段22cを廃止してもよい。つまり、音声出力の最中に低負荷状態から高負荷状態に変化した場合にも、中負荷状態に変化した場合と同様に継続中断手段22bによる継続と中断を実施してもよい。
You may abolish the forced interruption means 22c which concerns on the said 1st Embodiment. That is, even when the sound output is changed from the low load state to the high load state, the continuation and interruption by the
上記第1実施形態に係る許可手段22aでは、条件(1)〜(4)の全てを満たしていることを条件に、読上げ開始を許可しているが、少なくとも条件(1)を満たす場合に読上げ開始を許可してもよい。同様に、上記第2実施形態に係る許可手段220aでは、条件(1)〜(3)の全てを満たしていることを条件に、ハンズフリー通話開始を許可しているが、少なくとも条件(1)を満たす場合に通話開始を許可してもよい。 In the permission means 22a according to the first embodiment, reading is permitted on the condition that all of the conditions (1) to (4) are satisfied. However, the reading is performed when at least the condition (1) is satisfied. Start may be allowed. Similarly, the permission means 220a according to the second embodiment permits the start of hands-free calling on condition that all of the conditions (1) to (3) are satisfied, but at least the condition (1) If the condition is satisfied, the start of the call may be permitted.
上記第1実施形態では、強制中断の後に読上げを再開する場合には、着信メッセージのうち中断箇所よりも戻った箇所から再開させる一方で、継続中断の後に再開する場合には、中断箇所から再開させている。これに対し、継続中断の後に再開する場合にも、中断箇所(つまり最適箇所)よりも戻った箇所から再開させてもよい。 In the first embodiment, when reading is resumed after forcible interruption, the incoming message is resumed from a part that has returned from the interruption part, while when it is resumed after continuous interruption, it is resumed from the interruption part. I am letting. On the other hand, when resuming after a continuation interruption, it may be resumed from a place that has returned from the interruption place (that is, the optimum place).
本発明に係る着信メッセージは、メールの文章データに限定されるものではなく、チャット等のメール以外の文章データ、例えば、ソーシャルネットワーキングサービスによるメールの文章データであってもよい。また、インターネット回線により送受信される文章データに限定されるものではなく、電話回線により送受信される文章データであってもよい。 The incoming message according to the present invention is not limited to mail text data, and may be text data other than mail such as chat, for example, mail text data by a social networking service. The text data is not limited to text data transmitted / received via the Internet line, but may be text data transmitted / received via a telephone line.
上記第2実施形態では、通信端末3からの通話要求があった場合には、その旨を運転者へ報知する音声を自動で出力し、この報知音声に対して運転者による許可音声をマイク31が検出した場合に通話を開始させる。この場合において、上記通話要求が非低負荷状態時に為されたものであれば、上記報知音声の出力を禁止して、「運転中で通話できません」等の応答音声を相手端末(通信端末3)に自動返信してもよい。或いは、上記報知音声の出力した上で通話を禁止させてもよい。また、上記報知音声の出力を、中負荷状態時には許可して高負荷状態時には禁止してもよい。
In the second embodiment, when there is a call request from the
上記第1実施形態では、読上げた着信メッセージを表示器32にも表示させているが、この表示は常時表示させることに限らず、所定の条件を満たした場合に表示してもよい。例えば、表示器32の表示可能領域サイズが所定サイズ以上である場合や、停車中である場合に表示する。
In the first embodiment, the read incoming message is also displayed on the
上記各実施形態では、運転負荷を低負荷、中負荷、高負荷の3段階に分けて、読上げ装置およびハンズフリー通話装置の作動を制御しているが、さらに多くの段階に分けて、各段階毎に異なる制御を実施してもよい。 In each of the above embodiments, the operation load is divided into three stages of low load, medium load, and high load to control the operation of the reading device and the hands-free communication device. However, the operation load is divided into more stages. Different control may be performed every time.
20…読上げ制御装置、22a…許可手段、22b…継続中断手段、30…スピーカ(読上げ装置)(ハンズフリー通話装置)、31…マイク(ハンズフリー通話装置)、200…通話制御装置、220a…許可手段、220b…通話保留手段、220c…注意喚起手段。
DESCRIPTION OF
Claims (15)
前記運転者にとっての運転負荷が所定未満である低負荷状態であることを条件に、前記読上げ装置による音声出力の開始を許可する許可手段(22a)と、
前記音声出力の最中に前記低負荷状態から、前記運転負荷が所定以上である非低負荷状態に変化した場合に、前記着信メッセージの最適箇所まで前記音声出力を継続させ、その後に前記音声出力を中断する継続中断手段(22b)と、
を備えることを特徴とする読上げ制御装置。 In the reading control device (20) for controlling the operating state of the reading device that outputs the voice for reading the incoming message to the driver of the vehicle,
Permission means (22a) for permitting the start of voice output by the reading device on the condition that the driving load for the driver is a low load state that is less than a predetermined value;
When the voice load is changed from the low load state to a non-low load state where the driving load is equal to or greater than a predetermined value, the voice output is continued to the optimum location of the incoming message, and then the voice output is performed. Continuation interruption means (22b) for interrupting,
A reading control apparatus comprising:
前記継続中断手段は、前記音声出力の最中に前記低負荷状態から前記中負荷状態に変化した場合に前記継続および前記中断を実行し、
前記音声出力の最中に前記低負荷状態から前記高負荷状態に変化した場合には、前記継続を実施することなく、前記高負荷状態に変化した時点で強制的に前記音声出力を中断させる強制中断手段(22c)を備えることを特徴とする請求項1に記載の読上げ制御装置。 In the non-low load state, when the operating load is a state of a predetermined degree or more as a high load state, and the state of less than a predetermined degree as a medium load state,
The continuation interruption means executes the continuation and the interruption when the low load state changes to the medium load state during the audio output,
When the voice output is changed from the low load state to the high load state, the voice output is forcibly interrupted at the time of the change to the high load state without performing the continuation. The reading control apparatus according to claim 1, further comprising interruption means (22c).
前記継続中断手段による中断を実施した後、前記中負荷状態から前記低負荷状態に変化して中断していた読上げを再開する場合には、前記中断箇所から再開することを特徴とする請求項2に記載の読上げ制御装置。 When resuming reading that has been interrupted by changing from the high load state to the low load state after the interruption by the forcible interruption means, resume from the point returned from the interruption point in the incoming message. And
3. When resuming reading that has been interrupted by changing from the medium load state to the low load state after the interruption by the continuous interruption unit, the reading is resumed from the interruption point. The reading control device described in 1.
前記運転者にとっての運転負荷が所定未満である低負荷状態であることを条件に、前記ハンズフリー通話装置による通話を許可する許可手段(220a)と、
前記運転負荷が所定以上である非低負荷状態のうち、前記運転負荷が所定度合い以上の状態を高負荷状態、所定度合い未満の状態を中負荷状態と呼ぶ場合において、前記通話の最中に前記低負荷状態から前記高負荷状態に変化した場合に、前記通話を保留状態にする通話保留手段(220b)と、
前記通話の最中に前記低負荷状態から前記中負荷状態に変化した場合に、前記通話を保留にすることなく継続可能にしつつ、前記中負荷状態で前記通話を実施することに対して注意喚起する注意喚起手段(220c)と、
を備えることを特徴とする通話制御装置。 In the call control device (200) for controlling the operation state of the hands-free call device that enables the hands-free call by the driver of the vehicle,
Permission means (220a) for allowing a call by the hands-free call device on the condition that the driving load for the driver is less than a predetermined load condition;
Among the non-low load states in which the driving load is greater than or equal to a predetermined value, when the driving load is greater than or equal to a predetermined level, the high load state and the less than a predetermined level are referred to as medium load states, A call holding means (220b) for placing the call on hold when the low load state changes to the high load state;
When the call is changed from the low load state to the medium load state during the call, the call is continued without being put on hold, and an attention is paid to performing the call in the medium load state Alerting means (220c) to perform,
A call control device comprising:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014174434A JP6432216B2 (en) | 2014-08-28 | 2014-08-28 | Reading control device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014174434A JP6432216B2 (en) | 2014-08-28 | 2014-08-28 | Reading control device |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018094570A Division JP6607280B2 (en) | 2018-05-16 | 2018-05-16 | Call control device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016050964A true JP2016050964A (en) | 2016-04-11 |
JP6432216B2 JP6432216B2 (en) | 2018-12-05 |
Family
ID=55658531
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014174434A Expired - Fee Related JP6432216B2 (en) | 2014-08-28 | 2014-08-28 | Reading control device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6432216B2 (en) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018063338A (en) * | 2016-10-12 | 2018-04-19 | 本田技研工業株式会社 | Voice interactive apparatus, voice interactive method, and voice interactive program |
JP2019035897A (en) * | 2017-08-18 | 2019-03-07 | ヤフー株式会社 | Determination device, determination method, and determination program |
JP2019109422A (en) * | 2017-12-20 | 2019-07-04 | トヨタ自動車株式会社 | On-vehicle voice output device |
JP2020080202A (en) * | 2020-03-09 | 2020-05-28 | 株式会社デンソーテン | Information processing device and information processing method |
CN113450788A (en) * | 2020-03-26 | 2021-09-28 | 本田技研工业株式会社 | Method and device for controlling sound output |
CN113516978A (en) * | 2020-03-26 | 2021-10-19 | 本田技研工业株式会社 | Method and device for controlling sound output |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH04155397A (en) * | 1990-10-19 | 1992-05-28 | Ncr Corp | Voice synthesizer |
JPH09329458A (en) * | 1996-06-12 | 1997-12-22 | Toyota Central Res & Dev Lab Inc | Information announcing device for on-vehicle use |
JPH10187191A (en) * | 1996-12-19 | 1998-07-14 | Canon Inc | Method for information processing, information processor, and storage medium therefor |
JP2003114691A (en) * | 2001-10-03 | 2003-04-18 | Nissan Motor Co Ltd | Text speech synthesizing device for vehicle |
JP2003125454A (en) * | 2001-10-12 | 2003-04-25 | Honda Motor Co Ltd | Call control system dependent on driving state |
JP2005189906A (en) * | 2003-12-24 | 2005-07-14 | Fuji Photo Film Co Ltd | Electronic book |
JP2010026991A (en) * | 2008-07-24 | 2010-02-04 | Fujitsu Ltd | Email notification system, email notification method and mail notification program |
JP2010128099A (en) * | 2008-11-26 | 2010-06-10 | Toyota Infotechnology Center Co Ltd | In-vehicle voice information providing system |
WO2014049719A1 (en) * | 2012-09-26 | 2014-04-03 | 三菱電機株式会社 | Voice output device |
-
2014
- 2014-08-28 JP JP2014174434A patent/JP6432216B2/en not_active Expired - Fee Related
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH04155397A (en) * | 1990-10-19 | 1992-05-28 | Ncr Corp | Voice synthesizer |
JPH09329458A (en) * | 1996-06-12 | 1997-12-22 | Toyota Central Res & Dev Lab Inc | Information announcing device for on-vehicle use |
JPH10187191A (en) * | 1996-12-19 | 1998-07-14 | Canon Inc | Method for information processing, information processor, and storage medium therefor |
JP2003114691A (en) * | 2001-10-03 | 2003-04-18 | Nissan Motor Co Ltd | Text speech synthesizing device for vehicle |
JP2003125454A (en) * | 2001-10-12 | 2003-04-25 | Honda Motor Co Ltd | Call control system dependent on driving state |
JP2005189906A (en) * | 2003-12-24 | 2005-07-14 | Fuji Photo Film Co Ltd | Electronic book |
JP2010026991A (en) * | 2008-07-24 | 2010-02-04 | Fujitsu Ltd | Email notification system, email notification method and mail notification program |
JP2010128099A (en) * | 2008-11-26 | 2010-06-10 | Toyota Infotechnology Center Co Ltd | In-vehicle voice information providing system |
WO2014049719A1 (en) * | 2012-09-26 | 2014-04-03 | 三菱電機株式会社 | Voice output device |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018063338A (en) * | 2016-10-12 | 2018-04-19 | 本田技研工業株式会社 | Voice interactive apparatus, voice interactive method, and voice interactive program |
JP2019035897A (en) * | 2017-08-18 | 2019-03-07 | ヤフー株式会社 | Determination device, determination method, and determination program |
JP2019109422A (en) * | 2017-12-20 | 2019-07-04 | トヨタ自動車株式会社 | On-vehicle voice output device |
JP2020080202A (en) * | 2020-03-09 | 2020-05-28 | 株式会社デンソーテン | Information processing device and information processing method |
CN113450788A (en) * | 2020-03-26 | 2021-09-28 | 本田技研工业株式会社 | Method and device for controlling sound output |
CN113516978A (en) * | 2020-03-26 | 2021-10-19 | 本田技研工业株式会社 | Method and device for controlling sound output |
JP7407047B2 (en) | 2020-03-26 | 2023-12-28 | 本田技研工業株式会社 | Audio output control method and audio output control device |
JP7407046B2 (en) | 2020-03-26 | 2023-12-28 | 本田技研工業株式会社 | Audio output control method and audio output control device |
Also Published As
Publication number | Publication date |
---|---|
JP6432216B2 (en) | 2018-12-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6432216B2 (en) | Reading control device | |
US9058705B2 (en) | Communication system with personal information management and remote vehicle monitoring and control features | |
US8015010B2 (en) | Vehicle communication system with news subscription service | |
EP1891848B1 (en) | Vehicle immersive communication system | |
US8744492B2 (en) | Method of responding to incoming calls and messages while driving | |
US20100184406A1 (en) | Total Integrated Messaging | |
KR20110050275A (en) | Operation method and system for mobile phone associated with a car | |
EP2632128B1 (en) | Method and apparatus pertaining to the dynamic handling of incoming calls | |
US20100330964A1 (en) | Wireless communication device for processing incoming calls on-demand with multiple pre-recorded answering voices and/or pre-defined messages | |
JP2006319727A (en) | System for setting portable terminal mode, onboard device, portable terminal, and method for setting portable terminal | |
JP6607280B2 (en) | Call control device | |
JP2010136073A (en) | In-vehicle apparatus with hands-free function | |
WO2010113582A1 (en) | Mobile phone | |
JP2010154125A (en) | Mobile terminal, mobile terminal transmission method, and program | |
KR100608773B1 (en) | Response mode control method for mobile station | |
JP4356441B2 (en) | Missed call notification system for automobiles | |
JP3791474B2 (en) | Audio output control system and computer program | |
US10015306B2 (en) | Data processing method and terminal device | |
JP4584027B2 (en) | Telephone | |
JP4297276B2 (en) | In-car communication device | |
US10015305B1 (en) | Method and apparatus for notification control | |
JP3133432U (en) | Mobile phone | |
CN102055841A (en) | Incoming calls processing method and communication device applying same | |
JP4820225B2 (en) | Mobile phone | |
JP6988438B2 (en) | In-vehicle control device, control device, control method, control program, and utterance response method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170316 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180226 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180320 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180516 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20181009 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20181022 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6432216 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |