JP2018000330A - 監視装置及び監視システム - Google Patents

監視装置及び監視システム Download PDF

Info

Publication number
JP2018000330A
JP2018000330A JP2016128174A JP2016128174A JP2018000330A JP 2018000330 A JP2018000330 A JP 2018000330A JP 2016128174 A JP2016128174 A JP 2016128174A JP 2016128174 A JP2016128174 A JP 2016128174A JP 2018000330 A JP2018000330 A JP 2018000330A
Authority
JP
Japan
Prior art keywords
driver
control unit
biological
contact range
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2016128174A
Other languages
English (en)
Inventor
森 博之
Hiroyuki Mori
博之 森
一也 木内
Kazuya Kiuchi
一也 木内
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kyocera Corp
Original Assignee
Kyocera Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kyocera Corp filed Critical Kyocera Corp
Priority to JP2016128174A priority Critical patent/JP2018000330A/ja
Publication of JP2018000330A publication Critical patent/JP2018000330A/ja
Pending legal-status Critical Current

Links

Images

Abstract

【課題】運転者の生体情報を安定して測定できる監視装置及び監視システムを提供する。【解決手段】ステアリングホイール110と、運転者の生体情報を検出する複数の生体センサ120と、運転者によるステアリングホイールへの接触範囲を検知するタッチセンサ130と、制御部とを備え、複数の生体センサ120は、ステアリングホイールの外周形状に沿って配設され、制御部は、接触範囲内に配設される生体センサ又は接触範囲の最も近くに配設される生体センサから運転者の生体情報を検出する。【選択図】図1

Description

本発明は、監視装置及び監視システムに関する。
従来、ステアリングホイールに配設されたセンシング部によって、ステアリングホイールを把持する運転者の手から脈波を検出する構成が知られている(例えば、特許文献1参照)。
特開2006−26211号公報
運転者は、ステアリングホイールの様々な位置を把持しうる。センシング部がステアリングホイールの限られた範囲にしか配設されていない場合、センシング部は、運転者の接触範囲に存在せず、脈波を検出できないことがある。
かかる事情に鑑みてなされた本発明の目的は、運転者の生体情報を安定して測定できる監視装置及び監視システムを提供することにある。
上記課題を解決するため、本発明の一実施形態に係る監視装置は、ステアリングホイールを備える。前記監視装置は、運転者の生体情報を検出する複数の生体センサを備える。前記監視装置は、前記運転者による前記ステアリングホイールへの接触範囲を検知するタッチセンサを備える。前記監視装置は、制御部を備える。前記複数の生体センサは、前記ステアリングホイールの外周形状に沿って配設される。前記制御部は、前記接触範囲内に配設される生体センサ又は前記接触範囲の最も近くに配設される生体センサから前記運転者の生体情報を検出する。
上記課題を解決するため、本発明の一実施形態に係る監視システムは、監視装置と、所定の装置とを備える。前記監視装置は、ステアリングホイールを備える。前記監視装置は、運転者の生体情報を検出する複数の生体センサを備える。前記監視装置は、前記運転者による前記ステアリングホイールへの接触範囲を検知するタッチセンサを備える。前記監視装置は、制御部を備える。前記複数の生体センサは、前記ステアリングホイールの外周形状に沿って配設される。前記制御部は、前記接触範囲内に配設される生体センサ又は前記接触範囲の最も近くに配設される生体センサから前記運転者の生体情報を検出する。前記制御部は、前記生体情報を前記所定の装置に送信する。
本発明の一実施形態に係る監視装置及び監視システムによれば、運転者がステアリングホイールを把持する位置にかかわらず脈波を検出できる。
実施形態1に係る監視装置の構成例を示す図である。 図1のA−A断面図である。 生体センサの構成例を示す図である。 図1の監視装置の概略構成例を示すブロック図である。 接触範囲内の1個の発光部の点灯で生体情報を検出する手順の例を示すフローチャートである。 接触範囲内の全ての発光部の点灯で生体情報を検出する手順の例を示すフローチャートである。 接触範囲内の選択された受光部で生体情報を検出する手順の例を示すフローチャートである。 接触範囲内の一部の発光部と選択された受光部とで生体情報を検出する手順の例を示すフローチャートである。 脈波解析結果に基づいて注意喚起する手順の例を示すフローチャートである。 実施形態2に係る監視システムの概略構成例を示すブロック図である。
本開示に係る監視装置は、移動体に搭載されてよい。本開示における「移動体」には、車両、船舶、航空機が含まれる。本開示における「車両」は、自動車および産業車両を含むが、これに限られず、鉄道車両および生活車両、滑走路を走行する飛行機を含んでよい。自動車は、乗用車、トラック、バス、二輪車、およびトロリーバス等を含むがこれに限られず、道路上を走行する他の車両を含んでよい。産業車両は、農業および建設向けの産業車両を含む。産業車両は、フォークリフト、およびゴルフカートを含むがこれに限られない。農業向けの産業車両は、トラクター、耕耘機、移植機、バインダー、コンバイン、および芝刈り機を含むが、これに限られない。建設向けの産業車両は、ブルドーザー、スクレーバー、ショベルカー、クレーン車、ダンプカー、およびロードローラを含むが、これに限られない。車両は、人力で走行するものを含む。車両の分類は、上述に限られない。例えば、自動車は、道路を走行可能な産業車両を含んでよい。複数の分類に同じ車両が含まれてよい。本開示における船舶は、マリンジェット、ボート、タンカーを含む。本開示における航空機は、固定翼機、回転翼機を含む。本開示における「ステアリングホイール」は、移動体を操作するためのハンドル又は操縦桿等を含んでよい。
(実施形態1)
[装置構成]
図1に示されるように、監視装置100は、ステアリングホイール110と、生体センサ120と、タッチセンサ130とを備える。ステアリングホイール110は、リム部112とスポーク部114とを備える。ステアリングホイール110は、移動体の運転者によって把持される。監視装置100は、タッチセンサ130で運転者の接触範囲を検知する。監視装置100は、運転者の接触範囲内又は接触範囲近傍の生体センサ120で運転者の接触部位から生体情報を取得する。
生体センサ120は、リム部112の外周形状に沿って、複数個配設される。図1の監視装置100は、12個の生体センサ120を備えるが、12個未満又は13個以上の生体センサ120を備えてよい。生体センサ120は、所定の間隔で配設されてよい。図1において、所定の間隔は、Dと表される。
所定の間隔は、各生体センサ120間で同じ間隔とされてよいし、異なる間隔とされてよい。所定の間隔は、運転者の手の一握りの幅に応じて定められてよい。所定の間隔は、例えば3cm〜10cmとされてよい。所定の間隔は、運転者がリム部112を把持することが多い位置の近傍において、それ以外の位置と比べて、短い間隔とされてよい。例えば、運転者は、リム部112を把持する際、左右それぞれの手で、リム部112の左右の端を把持することがある。生体センサ120は、リム部112の左右の端の近傍において、他の位置よりも短い間隔で配設されてよい。生体センサ120は、リム部112の任意の位置において、他の位置よりも短い間隔で配設されてよい。
図2に示されるように、リム部112の断面において、第1象限1121と、第2象限1122と、第3象限1123と、第4象限1124とが定義されてよい。リム部112の表面のうち、第1象限1121と第2象限1122とに含まれる面は、運転者側に対向する第1の面112aという。リム部112の表面のうち、第3象限1123と第4象限1124とに含まれる面は、運転者から離れる側の第2の面112bという。
運転者がステアリングホイール110を把持する場合、運転者の掌又は指は、リム部112の第4象限1124に含まれる面に接触することがある。生体センサ120は、リム部112の第4象限1124に含まれる面に配設されてよい。運転者の掌又は指は、リム部112の第2の面112bに接触することがある。生体センサ120は、リム部112の第2の面112bに配設されてよい。運転者の掌又は指は、リム部112の第1象限1121に含まれる面と第4象限1124に含まれる面とにまたがって接触することがある。生体センサ120は、リム部112の第1象限1121と第4象限1124とにまたがるように配設されてよい。このようにすることで、生体センサ120が運転者の掌又は指の接触範囲に存在する頻度が増加しうる。生体センサ120は、上述の例に限られず、第1象限1121〜第4象限1124の任意の象限に含まれる面に設けられてよい。
生体センサ120は、図3に示されるように、発光部122と、受光部124とを備える。生体センサ120は、制御情報に応じて発光部122を点灯させ、運転者の被検部位126に対して測定光122aを射出する。生体センサ120は、受光部124で、被検部位126で測定光122aが散乱されて発生する散乱光124aを検出する。生体センサ120は、散乱光124aの検出によって、運転者の被検部位126から生体情報を検出する。生体センサ120は、検出した生体情報を出力する。測定光122aは、被検部位126の体表面近傍で散乱されてよい。測定光122aは、被検部位126の体表面から所定の深さの位置まで入り込んで散乱されてよい。
生体センサ120は、発光部122を1個備えてよいし、2個以上備えてよい。発光部122は、例えば、発光ダイオード又はレーザダイオード等の発光素子を備える。発光ダイオードは、LED(Light emitting diode)ともいう。レーザダイオードは、LD(Laser Diode)ともいう。発光部122は、発光素子を1個備えてよいし、2個以上備えてよい。生体センサ120は、発光部122を点灯させる指示に係る制御情報に応じて、発光部122を点灯させてよい。生体センサ120は、発光部122を消灯する指示に係る制御情報に応じて、発光部122を消灯してよい。発光部122が点灯している状態は、生体センサ120が動作している状態ともいう。発光部122は、消灯している場合、消費電力が抑制されうる。
生体センサ120は、受光部124を1個備えてよいし、2個以上備えてよい。受光部124は、例えば、フォトダイオード又はフォトトランジスタ等の受光素子を備える。フォトダイオードは、PD(Photo-Diode)ともいう。フォトトランジスタは、PT(Photo-Transistor)ともいう。受光部124は、受光素子を1個備えてよいし、2個以上備えてよい。受光素子は、受けた光の強度に応じて、電圧信号又は電流信号等を出力する。受光素子が出力する電圧信号又は電流信号のことを、受光部124の出力ともいう。受光素子は、生体センサ120が動作しているか否かにかかわらず、受けた光の強度に応じた電圧を発生してよい。受光部124は、外部に接続される回路のスイッチングによって、受光素子で発生している電圧を電圧信号又は電流信号等として出力してよい。受光部124が電圧信号又は電流信号等を出力している状態は、生体センサ120が動作している状態ともいう。受光部124は、電圧信号又は電流信号等を出力していない場合、消費電力が抑制されうる。
生体センサ120は、ステアリングホイール110を把持する運転者の生体情報を検出する。生体センサ120は、生体情報として脈波を検出してよい。脈波とは、心臓の拍動に応じて伝わる血管の圧変化または容積変化を波形としてとらえたものとして表されうる。生体センサ120は、運転者の脈波を検出する場合、脈波センサであるといえる。脈波センサは、例えば、血流センサ、脈拍センサ、及び血中酸素濃度センサ等を含む。生体センサ120は、例えば、運転手の体温を検出する温度センサでもよい。
生体センサ120が脈波を検出する場合、発光部122は、例えば、750〜1600nmの波長を有する近赤外光を射出してよい。長波長の光は短波長の光と比べて、体のより深い位置まで進入しうる。運転者の被検部位126が指である場合、近赤外光は、指の内部の太い血管にまで到達しうる。太い血管からの散乱光124aを検出することで、脈波検出の精度がより高くなりうる。発光部122は、例えば、495〜570nmの波長を有する緑色光又は620〜750nmの波長を有する赤色光を射出してよい。運転者の被検部位126が掌又は指である場合、緑色光又は赤色光は、掌又は指の表面付近の毛細血管まで到達しうる。生体センサ120は、毛細血管からの散乱光124aを検出することで、動きのある被検部位126からでも脈波を検出しうる。
脈波は、血液の流入によって生じる血管の容積時間変化として表されうる。受光部124の出力の時間変化は、被検部位126における血管の容積時間変化を体表面から光学的に波形としてとらえたものといえる。生体センサ120は、受光部124の出力の時間変化に基づいて、被検部位126における血管の容積時間変化を脈波として検出しうる。制御部150は、生体センサ120から生体情報として脈波を取得してよい。生体センサ120は、受光部124の出力をそのまま出力してよい。この場合、制御部150は、取得した受光部124の出力の時間変化に基づいて、被検部位126における脈波を算出してよい。
タッチセンサ130は、ステアリングホイール110に対する運転者の掌又は指等の接触を検出し、接触範囲を検知する。タッチセンサ130は、接触範囲を示す情報を制御情報として出力する。タッチセンサ130は、接触を検出しない場合、接触を検出しないことを示す情報を制御情報として出力する。タッチセンサ130は、静電容量方式、抵抗膜方式、表面弾性波方式、超音波方式、赤外線方式、電磁誘導方式、荷重検出方式、又は他の方式等の任意の方式で接触を検出してよい。タッチセンサ130は、上記方式の任意の組み合わせで接触を検出してよい。タッチセンサ130が検出する接触は、運転者の掌又は指等がタッチセンサ130に隙間なく触れる状態を含んでよい。タッチセンサ130が検出する接触は、運転者の掌又は指等がタッチセンサ130に対して所定の距離未満に接近する状態を含んでよい。
タッチセンサ130は、生体センサ120を覆わないように配設されてよい。このようにすることで、生体センサ120は、散乱光124aの検出を妨げられにくい。タッチセンサ130は、リム部112の外周形状に沿って配設される。図1のタッチセンサ130の設置位置は、リム部112の全周にわたるが、これに限られない。タッチセンサ130は、リム部112の外周形状に沿って、離散的に複数個配設されてよい。タッチセンサ130は、リム部112の外周形状に沿って、各生体センサ120に対応する位置に配設されてよい。図2のタッチセンサ130の設置位置は、リム部112の第4象限1124に含まれる面であるが、これに限られない。タッチセンサ130は、リム部112の第1象限1121〜第4象限1124の任意の象限に含まれる面に設けられてよい。
監視装置100は、図2に示されるように、リム部112の表面において生体センサ120を覆うように、光学フィルタ140をさらに備えてよい。光学フィルタ140は、所定の波長を有する光をカットする。光学フィルタ140でカットされる光の波長は、例えば、400〜750nmであってよいが、これに限られない。光学フィルタ140は、リム部112の、生体センサ120が配設されていない部分も覆ってよい。
[機能ブロック]
図4に示されるように、監視装置100は、生体センサ120と、タッチセンサ130と、制御部150と、記憶部160と、通信部170と、報知部180とを備える。
制御部150は、監視装置100の各構成部とそれぞれ接続される。制御部150は、タッチセンサ130から制御情報を取得する。制御部150は、生体センサ120に対して、発光部122に測定光122aを射出させる制御情報を出力する。制御部150は、生体センサ120から運転者の生体情報を取得する。制御部150は、取得した生体情報に基づいて、運転者の脈波を算出してよい。制御部150は、取得した脈波に基づいて、運転者の脈拍数又は心拍数を算出してよい。通常、脈拍数と心拍数とは同数値となるため、ここでは同様のものとし、以降の記載は心拍数とする。制御部150は、取得した生体情報に基づいて、運転者の身体状態に係る他の情報を算出してよい。
制御部150は、監視装置100の各構成部、及び監視装置100の全体を制御及び管理するプロセッサであってよい。制御部150は、制御手順を規定したプログラム等を実行するCPU(Central Processing Unit)等のプロセッサであってよい。プログラムは、例えば記憶部160等の記憶媒体に格納されてよい。
記憶部160は、各種情報や監視装置100を動作させるためのプログラム等を格納する。記憶部160は、半導体メモリ又は磁気メモリ等で構成されてよい。記憶部160は、制御部150のワークメモリとして機能してよい。記憶部160は、生体センサ120から取得される運転者の生体情報を格納してよい。記憶部160は、制御部150で算出された脈波又は心拍数等に係る情報を格納してよい。
通信部170は、有線又は無線の通信によって、サーバ等の外部装置との間で各種情報の送受信を行う。通信部170は、例えば、LAN(Local Area Network)又はCAN(Control Area Network)等の通信インターフェースを備えてよい。通信部170は、有線又は無線によって、外部装置と通信可能であってよい。通信部170は、生体センサ120から取得される生体情報をサーバ等の外部装置に送信してよい。通信部170は、制御部150で算出された脈波又は心拍数等に係る情報をサーバ等の外部装置に送信してよい。
報知部180は、制御部150が取得した運転者の生体情報に係る情報を表示する。報知部180は、制御部150で算出された脈波又は心拍数等に係る情報を表示してよい。報知部180は、運転者に対するアラーム等の情報を表示してよい。
報知部180は、例えば液晶、有機EL(Electro-Luminescence)、無機EL又はLED(Light Emission Diode)等の表示デバイスを備えてよい。報知部180は、音声を発するデバイスを備えてよい。報知部180は、制御部150から取得した制御情報に基づいて音声を発することで、運転者又は運転者の周囲の人に対してアラーム等の情報を報知してよい。報知部180は、振動を発生するデバイスを備えてよい。報知部180は、制御部150から取得した制御情報に基づいて振動を発生することで、運転者に対してアラーム等の情報を報知してよい。報知部180は、音声又は振動以外の、運転者又は運転者の周囲の人が認識可能な任意の方法で、運転者又は運転者の周囲の人に対してアラーム等の情報を報知してよい。
[生体情報取得フロー]
監視装置100は、いくつかの手順で、ステアリングホイール110を把持する運転者の生体情報を取得してよい。
<生体情報取得例1>
制御部150は、例えば図5に示される手順で運転者の生体情報を取得してよい。制御部150は、タッチセンサ130で接触が検出されたか判定する(ステップS1)。制御部150は、タッチセンサ130から制御情報を取得する。制御情報が接触範囲を示す情報を含む場合、制御部150は、接触が検出されたと判定する。制御情報が接触を検出していないことを示す情報を含む場合、制御部150は、接触が検出されていないと判定する。
制御部150は、接触が検出されていない場合(ステップS1:NO)、ステップS1に戻り、接触の検出を続ける。制御部150は、接触が検出された場合(ステップS1:YES)、接触範囲内の1個の生体センサ120を選択する(ステップS2)。接触範囲内に配設される生体センサ120が複数個ある場合、制御部150は、例えば接触範囲の中央の最も近くに配設されている生体センサ120を選択してよい。制御部150は、他の基準で生体センサ120を選択してよい。接触範囲内に生体センサ120が配設されていない場合、制御部150は、接触範囲に最も近い位置に配設されている生体センサ120を選択してよい。
制御部150は、選択した生体センサ120の発光部122を点灯させる(ステップS3)。選択した生体センサ120の発光部122は、選択した発光部122ともいう。制御部150は、選択した生体センサ120の受光部124から生体情報を取得する(ステップS4)。選択した生体センサ120の受光部124は、選択した受光部124ともいう。制御部150は、ステップS3及びS4の実行によって、生体センサ120に生体情報の検出を開始させる。生体センサ120が脈波センサである場合、制御部150は、脈波センサに脈波の検出を開始させる。
制御部150は、タッチセンサ130での接触の検出が解除されたか判定する(ステップS5)。制御部150は、タッチセンサ130から制御情報を取得する。接触を検出していないことを示す情報が制御情報に含まれる場合、又は、ステップS1で接触が検出されたときと異なる接触範囲を示す情報が制御情報に含まれる場合、制御部150は、接触の検出が解除されたと判定する。ステップS1で接触が検出されたときと同じ接触範囲を示す情報が制御情報に含まれる場合、制御部150は、接触の検出が解除されていないと判定する。
制御部150は、接触の検出が解除されていない場合(ステップS5:NO)、生体情報検出の開始から所定時間が経過したか判定する(ステップS6)。制御部150は、生体情報を取得する目的に応じて、所定時間を適宜定めてよい。生体情報から運転者の心拍数が算出される場合、所定時間は、例えば10秒以上とされてよい。生体情報から運転者の身体状態が判定される場合、所定時間は、例えば3分以上とされてよい。制御部150は、所定時間が経過していない場合(ステップS6:NO)、ステップS4に戻る。
制御部150は、接触の検出が解除された場合(ステップS5:YES)又は所定時間が経過した場合(ステップS6:YES)、発光部122を消灯する(ステップS7)。このようにすることで、生体センサ120の消費電力が抑制されうる。制御部150は、ステップS7の後、図5のフローチャートの処理を終了する。制御部150は、ステップS7の後、ステップS1に戻って接触の検出を開始してよい。
図5のステップS6は、実行されなくてよい。ステップS6が実行されない場合、制御部150は、ステップS5で接触の検出が解除されていないと判定した場合(ステップS5:NO)、ステップS4に戻る。
生体情報取得例1によれば、生体情報が取得される際、被検部位126が接触している間だけ生体センサ120が動作する。このようにすることで、生体センサ120の消費電力が抑制されうる。
<生体情報取得例2>
制御部150は、例えば図6及び図7に示される手順で運転者の生体情報を取得してよい。制御部150は、タッチセンサ130で接触が検出されたか判定する(ステップS11)。ステップS11の処理は、図5のステップS1の処理と同様である。
制御部150は、接触が検出されていない場合(ステップS11:NO)、ステップS11に戻る。制御部150は、接触が検出された場合(ステップS11:YES)、接触範囲内の全ての生体センサ120の発光部122を点灯させる(ステップS12)。接触範囲内の全ての生体センサ120の発光部122は、接触範囲内の全ての発光部122ともいう。接触範囲内に生体センサ120が配設されていない場合、制御部150は、接触範囲に最も近い位置に配設されている生体センサ120の発光部122を点灯させてよい。
制御部150は、接触範囲内の全ての生体センサ120の受光部124のうち、出力条件を満たす受光部124があるか判定する(ステップS13)。接触範囲内の全ての生体センサ120の受光部124は、接触範囲内の全ての受光部124ともいう。出力条件は、受光部124の出力が所定値以上であることであってよい。言い換えれば、出力条件は、受光部124が受ける光の強度が所定の強度以上であることであってよい。接触範囲内に生体センサ120が配設されていない場合、制御部150は、接触範囲に最も近い位置に配設されている生体センサ120の受光部124が出力条件を満たすか判定してよい。
制御部150は、出力条件を満たす受光部124がない場合(ステップS13:NO)、接触範囲内の全ての生体センサ120の発光部122を消灯させる(ステップS14)。制御部150は、ステップS14の後、図6のフローチャートの処理を終了する。
制御部150は、出力条件を満たす受光部124がある場合(ステップS13:YES)、出力条件を満たす受光部124を有する生体センサ120のうちの1個を選択する(図7のステップS21)。受光部124を有する生体センサ120のうちの1個を選択することを、受光部124の1個を選択するともいう。制御部150は、出力条件を満たす受光部124が複数個ある場合、最も出力が大きい受光部124を選択してよい。制御部150は、他の基準で受光部124を選択してよい。
制御部150は、選択した受光部124から生体情報を取得する(ステップS22)。
制御部150は、タッチセンサ130での接触の検出が解除されたか判定する(ステップS23)。ステップS23は、図5のステップS5と同様の内容である。
制御部150は、接触の検出が解除された場合(ステップS23:YES)、接触範囲内の全ての発光部122を消灯する(図6のステップS14)。制御部150は、ステップS14の後、図6及び図7のフローチャートの処理を終了する。制御部150は、ステップS14の後、ステップS11に戻ってよい。
制御部150は、接触の検出が解除されていない場合(ステップS23:NO)、選択した受光部124が出力条件を満たすか判定する(ステップS24)。
制御部150は、選択した受光部124が出力条件を満たさない場合(ステップS24:NO)、図6のステップS13に戻って、受光部124の選択をやり直す。
制御部150は、選択した受光部124が出力条件を満たす場合(ステップS24:YES)、生体情報検出の開始から所定時間が経過したか判定する(ステップS25)。制御部150は、生体情報を取得する目的に応じて、所定時間を適宜定めてよい。制御部150は、所定時間が経過していない場合(ステップS25:NO)、ステップS22に戻る。
制御部150は、所定時間が経過した場合(ステップS25:YES)、接触範囲内の全ての発光部122を消灯する(図6のステップS14)。制御部150は、ステップS14の後、図6及び図7のフローチャートの処理を終了する。制御部150は、図6のステップS14の後、図6のステップS11に戻って接触の検出を開始してよい。
図7のステップS25は、実行されなくてよい。ステップS25が実行されない場合、制御部150は、ステップS24で選択した受光部124が出力条件を満たすと判定した場合(ステップS24:YES)、ステップS22に戻る。
生体情報取得例2によれば、制御部150は、接触範囲内の全ての発光部122を点灯させ、出力条件を満たす受光部124を選択しうる。このようにすることで、生体情報がより確実に取得されうる。
<生体情報取得例3>
制御部150は、例えば図6及び図8に示される手順で運転者の生体情報を取得してよい。図6のステップS11〜S14の処理は、生体情報取得例2において説明してきた内容と同様である。制御部150は、図6のステップS13で、出力条件を満たす受光部124があると判定した場合(ステップS13:YES)、図8のステップS31に進む。
制御部150は、点灯している発光部122のうち一部の発光部122を消灯する(ステップS31)。制御部150は、接触範囲の端に近い位置に配設されている生体センサ120の発光部122から順に消灯してよい。制御部150は、他の任意の基準で、消灯する発光部122を決定してよい。
制御部150は、接触範囲内の全ての生体センサ120の受光部124のうち、出力条件を満たす受光部124があるか判定する(ステップS32)。ステップS32は、図6のステップS13と同様の内容である。
制御部150は、出力条件を満たす受光部124がある場合(ステップS32:YES)、ステップS31に戻って、さらに発光部122を消灯する。
制御部150は、出力条件を満たす受光部124がない場合(ステップS32:NO)、直前に消灯された発光部122を再点灯させる(ステップS33)。直前に消灯された発光部122は、ステップS32で出力条件を満たす受光部124がないと判定される直前にステップS31で消灯された発光部122である。直前に消灯された発光部122を再点灯させることによって、出力条件を満たす受光部124が存在する状態になりうる。
制御部150は、ステップS33に続いて、ステップS34に進む。図8のステップS34〜ステップS36は、図7のステップS21〜ステップS23とそれぞれ同じ内容である。制御部150は、図8のステップS36で接触の検出が解除されていない場合(ステップS36:NO)、選択した受光部124が出力条件を満たすか判定する(図8のステップS37)。
制御部150は、選択した受光部124が出力条件を満たさない場合(ステップS37:NO)、図6のステップS12に進み、接触範囲内の全ての発光部122を点灯させる。制御部150は、選択した受光部124が出力条件を満たす場合(ステップS37:YES)、図8のステップS38に進む。図8のステップS38は、図7のステップS25と同じ内容である。
制御部150は、図8のステップS36又はステップS38から図6のステップS14に進む場合、ステップS14の実行後、図6及び図8のフローチャートの処理を終了する。制御部150は、図6のステップS14の後、図6のステップS11に戻って接触の検出を開始してよい。
図8のステップS38は、実行されなくてよい。ステップS38が実行されない場合、制御部150は、ステップS37で選択した受光部124が出力条件を満たすと判定した場合(ステップS37:YES)、ステップS35に戻る。
制御部150は、図8のステップS33において、接触範囲の中央に近い位置に配設されている生体センサ120の発光部122から順に再点灯させてよい。制御部150は、他の任意の基準で、再点灯させる発光部122を決定してよい。この場合、制御部150は、接触範囲内の全ての生体センサ120の受光部124のうち、出力条件を満たす受光部124があるか再度判定してよい。制御部150は、ステップS33において、直前に消灯された発光部122を再点灯させた場合でも、出力条件を満たす受光部124があるか再度判定してよい。制御部150は、出力条件を満たす受光部124がある場合、図8のステップS34に進んでよい。制御部150は、出力条件を満たす受光部124がない場合、消灯された発光部122をさらに再点灯させてよい。
生体情報取得例3によれば、接触範囲内の受光部124の少なくとも1個が出力条件を満たすように、最小限の個数の発光部122が点灯されうる。このようにすることで、消費電力が抑制されうる。生体情報は、より確実に取得されうる。
<生体情報取得例4>
タッチセンサ130は、2つ以上の接触範囲を検出しうる。例えば、運転者がステアリングホイール110を左右の手それぞれで把持する場合、タッチセンサ130は、左右それぞれで1つの接触範囲を検出し、合計2つの接触範囲を検出しうる。タッチセンサ130が2つ以上の接触範囲を検出した場合、制御部150は、各接触範囲について、生体情報取得例1〜3いずれかに係る処理を実行してよい。タッチセンサ130が2つ以上の接触範囲を検出した場合、制御部150は、1つ又は複数の接触範囲を選択して、生体情報取得例1〜3いずれかに係る処理を実行してよい。制御部150は、種々の方法で接触範囲を選択しうる。例えば、制御部150は、最も広い接触範囲を選択してよい。制御部150は、各接触範囲内の受光部124の出力を比較して、最も大きい出力の受光部124を含む接触範囲を選択してよい。制御部150は、他の方法で接触範囲を選択してよい。
制御部15は、複数の生体センサ120から生体情報を取得する場合、各生体情報をそれぞれ解析してよいし、各生体情報を合成して解析してよい。制御部15は、例えば、各生体情報から算出される心拍数の平均値を運転者の心拍数としてよい。
生体情報取得例4によれば、生体情報がより広い範囲で取得されうる。生体情報は、より確実に取得されうる。
[脈波に基づく身体状態判定]
監視装置100は、生体情報として取得される脈波に基づいて、ステアリングホイール110を把持する運転者の身体状態を判定してよい。
制御部150は、図9に示されるように、脈波に基づいて、運転者の身体状態を判定することができる。
制御部150は、運転者の脈波を取得する(ステップS51)。制御部150は、生体センサ120に脈波を検出させてよい。制御部150は、生体センサ120に生体情報を検出させ、生体情報に基づいて運転者の脈波を算出してよい。制御部150は、取得した脈波を記憶部160に格納してよい。脈波の取得は、所定時間にわたって連続で行われてよい。
制御部150は、脈波を解析する(ステップS52)。制御部150は、例えば脈波の立ち上がり間隔を算出してよい。制御部150は、算出した脈波の立ち上がり間隔を記憶部160に格納してよい。
制御部150は、脈波の立ち上がり間隔から、1分間の脈波の立ち上がり回数を心拍数として算出してよい。制御部150は、脈波の波形の特徴点を基準として脈波の立ち上がり間隔を算出してよい。制御部150は、脈波の波形の特徴点として、脈波がピーク値に向けて立ち上がる際の変曲点を解析してよい。制御部150は、脈波の変曲点が現れる時間間隔を脈波の間隔として算出してよい。制御部150は、脈波の波形の特徴点として、脈波のピーク値又はボトム値を基準としてよい。制御部150は、脈波のピーク値又はボトム値が現れる間隔を脈波の間隔として算出してよい。心拍数は、例えば10秒以上にわたって連続で取得された脈波に基づいて算出されてよい。
制御部150は、運転者の心拍数の変動率を算出してよい。変動率を算出するための基準値は、例えば、運転者の平常時の心拍数であってよい。変動率を算出するための基準値は、運転者が移動体に乗ってから最初に算出された心拍数であってよい。制御部150は、算出した心拍数の変動率を記憶部160に格納してよい。心拍数の変動率は、心拍数の上昇率又は心拍数の低下率であってよい。心拍数の変動率は、例えば3分以上にわたって連続で取得された脈波に基づいて算出されてよい。
制御部150は、脈波の波高を算出してよい。制御部150は、脈波の波形の特徴点を解析してよい。制御部150は、脈波の波高又は波形の特徴点の解析結果を記憶部160に格納してよい。
制御部150は、脈波の解析結果に基づいて、運転者の身体状態を判定する。制御部150は、運転者の心拍数の低下率が眠気判定値以上となったか判定する(ステップS53)。眠気判定値は、運転者の眠気を判定する基準値である。眠気判定値は、例えば15%に設定されるがこれに限られない。眠気判定値は、適宜設定されうる値である。制御部150は、運転者の心拍数の低下率が眠気判定値以上となった場合、運転者の身体状態の判定として、運転者の眠気が増大していると判定する。
ステップS53において、制御部150は、脈波の周波数解析結果に基づいて運転者の眠気を判定してよい。制御部150は、例えば脈波の所定の周波数帯の値が上昇した場合に、運転者の眠気が増大していると判定してよい。
制御部150は、運転者の心拍数の低下率が眠気判定値以上となった場合(ステップS53:YES)、報知部180から運転者に対して眠気が発生している旨の注意喚起を行う(ステップS54)。制御部150は、ステップS54の後、図9のフローチャートの処理を終了する。制御部150は、ステップS51に戻って運転者の状態監視を継続してよい。
制御部150は、運転者の心拍数の低下率が眠気判定値以上となっていない場合(ステップS53:NO)、運転者の心拍数の上昇率が緊張判定値以上となったか判定する(ステップS55)。緊張判定値は、運転者の緊張度を判定する基準値である。緊張判定値は、例えば25%に設定されるがこれに限られない。緊張判定値は、適宜設定されうる値である。制御部150は、運転者の心拍数の上昇率が緊張判定値以上となった場合、運転者の身体状態の判定として、運転者の緊張度が増大していると判定する。
ステップS55において、制御部150は、運転者の心拍数が所定値以上となった場合に、運転者の緊張度が増大していると判定してよい。所定値は、例えば100回/分と設定されてよい。
制御部150は、運転者の心拍数の上昇率が緊張判定値以上となっている場合(ステップS55:YES)、報知部180から運転者に対して緊張度が高まっている旨の注意喚起を行う(ステップS56)。制御部150は、ステップS56の後、ステップS57に進む。
制御部150は、運転者の心拍数の上昇率が緊張判定値以上となっていない場合(ステップS55:NO)又はステップS56の後、運転者の身体状態の判定として、運転者の脈波の解析結果が不整脈判定条件を満たすか判定する(ステップS57)。不整脈判定条件は、例えば脈波の立ち上がり間隔のばらつきが所定値以上となる場合として設定される。不整脈判定条件は、脈波の波高が低下した場合として設定されてよい。不整脈判定条件は、運転者の脈波の波形と基準波形との差異が所定値以上となった場合として設定されてよい。
制御部150は、運転者の脈波解析結果が不整脈判定条件を満たす場合(ステップS57:YES)、報知部180から運転者に対して不整脈が発生している旨の注意喚起を行う(ステップS58)。制御部150は、ステップS58の後、図9のフローチャートの処理を終了する。制御部150は、ステップS21に戻って運転者の状態監視を継続してよい。
運転者の脈波解析結果が不整脈判定条件を満たさない場合(ステップS57:NO)、制御部150は、図9のフローチャートの処理を終了する。制御部150は、ステップS21に戻って運転者の状態監視を継続してよい。
図9において、ステップS53の眠気判定と、ステップS55の緊張判定と、ステップS57の不整脈判定とは、それぞれ順番を入れ替えて実行されてよい。
図9に示される身体状態判定フローによれば、脈波に基づいて運転者の身体状態が判定されうる。このようにすることで、移動体がより安全に運転されうる。
一実施形態に係る監視装置100によれば、ステアリングホイール110の外周形状に沿って生体センサ120が配設される。このようにすることで、被検部位126が生体センサ120に当たる頻度がより高くなりうる。運転者の生体情報が、より確実に取得されうる。一実施形態に係る監視装置100によれば、タッチセンサ130による接触範囲の検出によって、生体センサ120の動作数又は動作時間が少なくされうる。このようにすることで、監視装置100の消費電力が低減されうる。
(実施形態2)
監視装置100は、サーバ等の外部装置に接続されてよい。図10に示されるように、一実施形態に係る監視システム10は、監視装置100とサーバ200とコントローラ300と情報端末400とを備える。サーバ200とコントローラ300と情報端末400とはそれぞれ、情報取得装置ともいう。監視装置100は、図4に示される機能ブロック図と同様に、生体センサ120と、制御部150と、記憶部160と、通信部170と、報知部180とを備える。監視装置100は、報知部180を備えない構成とされてよい。サーバ200は、サーバ制御部250と、サーバ記憶部260と、サーバ通信部270とを備える。監視装置100の通信部170と、サーバ200のサーバ通信部270とは通信可能に接続される。通信部170とサーバ通信部270とは、ネットワーク500を介して接続されてよい。通信部170は、無線LAN等の無線通信でネットワーク500に接続されてよい。通信部170は、有線の通信でネットワーク500に接続されてよい。
通信部170は、コントローラ300及び情報端末400に接続される。通信部170は、無線LAN等の無線通信でコントローラ300及び情報端末400に接続されてよい。通信部170は、有線の通信でコントローラ300及び情報端末400に接続されてよい。制御部150は、通信部170からコントローラ300又は情報端末400に対して、運転者の生体情報若しくは脈波に係る情報、運転者の身体状態に係る情報、又は運転者の身体状態に基づく注意喚起等に係る情報を送信してよい。
サーバ通信部270は、例えば、LAN又はCAN等の通信インターフェースを備えてよい。サーバ通信部270は、有線又は無線によって、コントローラ300及び情報端末400と通信可能に接続されてよい。サーバ通信部270は、有線又は無線によって、ネットワーク500に接続されてよい。サーバ通信部270は、ネットワーク500を介してコントローラ300及び情報端末400に接続されてよい。コントローラ300及び情報端末400は、無線LAN等の無線通信でネットワーク500に接続されてよい。コントローラ300及び情報端末400は、有線の通信でネットワーク500に接続されてよい。
サーバ制御部250は、サーバ200の各構成部、及びサーバ200の全体を制御及び管理するプロセッサであってよい。サーバ制御部250は、制御手順を規定したプログラム等を実行するCPU(Central Processing Unit)等のプロセッサであってよい。プログラムは、例えばサーバ記憶部260等の記憶媒体に格納されてよい。
サーバ記憶部260は、各種情報やサーバ200を動作させるためのプログラム等を格納する。サーバ記憶部260は、半導体メモリ又は磁気メモリ等で構成されてよい。サーバ記憶部260は、サーバ制御部250のワークメモリとして機能してよい。サーバ記憶部260は、監視装置100又はコントローラ300から取得した情報を格納してよい。
コントローラ300は、監視装置100から運転者の身体状態に係る情報又は運転者の身体状態に基づく注意喚起等に係る情報を取得してよい。コントローラ300は、監視装置100から取得した情報を格納してよい。コントローラ300は、監視装置100から取得した情報をサーバ200に送信してよい。
情報端末400は、監視システム10における専用の端末であってよい。情報端末400は、例えばスマートフォン又はタブレット等の汎用の端末であってよい。情報端末400は、監視装置100から運転者の身体状態に係る情報又は運転者の身体状態に基づく注意喚起等に係る情報を取得してよい。情報端末400は、監視装置100から取得した情報を格納してよい。情報端末400は、監視装置100から取得した情報をサーバ200に送信してよい。情報端末400は、監視装置100から運転者の身体状態に基づく注意喚起を取得した場合、運転者又は周囲にいる人に対して、音声又は画像表示等により注意喚起の内容を報知してよい。この場合、報知部180は、注意喚起の内容を報知しなくてよい。報知部180は、情報端末400からの報知に加えて、注意喚起の内容を報知してよい。
監視システム10は、コントローラ300及び情報端末400の少なくとも一方を備えてよい。監視システム10は、コントローラ300及び情報端末400を共に備えなくてよい。監視システム10において、監視装置100の通信部170とサーバ200のサーバ通信部270とは、ネットワーク500を介して接続されてよい。
実施形態2に係る監視システム10によれば、監視装置100が取得した運転者の生体情報又は運転者の身体状態に係る情報を情報取得装置に格納しうる。監視システム10又は監視装置100は、運転者の身体状態に応じて、報知部180又は情報端末400によって、運転者に対してアラーム等を報知しうる。監視システム10又は監視装置100は、報知部180又は情報端末400によって、移動体の同乗者に対して、運転者の様子を確認するように促してよい。運転者又は同乗者は、アラーム等の報知を受けることによって、移動体の安全を確保しうる。監視システム10は、サーバ200に対して運転者の身体状態を送信してよい。サーバ200は、運転者の身体状態に応じて、移動体に対して、リモートコントロール等の指示を出してよい。
実施形態2に係る監視システム10によれば、運転者の身体状態の監視状況に応じて、運転者又は運転者が運転する移動体に対して種々の対応をとることが容易になる。
本開示に係る構成は、以上説明してきた実施形態にのみ限定されるものではなく、幾多の変形又は変更が可能である。例えば、各構成部等に含まれる機能等は論理的に矛盾しないように再配置可能であり、複数の構成部等を1つに組み合わせたり、或いは分割したりすることが可能である。
監視装置100は、心電波形の取得に応じた接触範囲の検知を行ってよい。この場合、監視装置100は、心電波形を取得するための電極をさらに備えてよい。心電波形を取得するための電極は、ステアリングホイール110に備えられてよい。心電波形を取得するための電極は、運転者が座るシートに備えられてよい。心電波形を取得するための電極は、運転者が装着するウェアラブルセンサに備えられてよい。
10 監視システム
100 監視装置
110 ステアリングホイール
112 リム部
112a、b 第1、第2の面
1121〜1124 第1〜第4象限
114 スポーク部
120 生体センサ
122 発光部
122a 測定光
124 受光部
124a 散乱光
126 被検部位
130 タッチセンサ
140 光学フィルタ
150 制御部
160 記憶部
170 通信部
180 報知部
200 サーバ
250 サーバ制御部
260 サーバ記憶部
270 サーバ通信部
300 コントローラ
400 情報端末
500 ネットワーク

Claims (7)

  1. ステアリングホイールと、運転者の生体情報を検出する複数の生体センサと、前記運転者による前記ステアリングホイールへの接触範囲を検知するタッチセンサと、制御部とを備え、
    前記複数の生体センサは、前記ステアリングホイールの外周形状に沿って配設され、
    前記制御部は、前記接触範囲内に配設される生体センサ又は前記接触範囲の最も近くに配設される生体センサから前記運転者の生体情報を検出する、監視装置。
  2. 前記複数の生体センサは、前記運転者の脈波を検出する複数の脈波センサを含む、請求項1に記載の監視装置。
  3. 前記タッチセンサは、静電容量方式、抵抗膜方式、表面弾性波方式、超音波方式、赤外線方式、電磁誘導方式、又は荷重検出方式によって、前記接触範囲を検知する、請求項1又は2に記載の監視装置。
  4. 前記制御部は、前記接触範囲を検知した場合、前記接触範囲内又は前記接触範囲から最も近くに配設される生体センサに生体情報の検出を開始させる、請求項1乃至3いずれか一項に記載の監視装置。
  5. 前記生体センサは、測定光を射出する発光部と、前記測定光に応じた散乱光を検出する受光部とを備える、請求項1乃至4いずれか一項に記載の監視装置。
  6. 前記制御部は、前記検出された生体情報に基づいて、前記運転者の身体状態を判定する、請求項1乃至5いずれか一項に記載の監視装置。
  7. 監視装置と、情報取得装置とを備え、
    前記監視装置は、
    ステアリングホイールと、運転者の生体情報を検出する複数の生体センサと、前記運転者による前記ステアリングホイールへの接触範囲を検知するタッチセンサと、制御部とを備え、
    前記複数の生体センサは、前記ステアリングホイールの外周形状に沿って配設され、
    前記制御部は、前記接触範囲内に配設される生体センサ又は前記接触範囲の最も近くに配設される生体センサから前記運転者の生体情報を検出し、前記生体情報を前記情報取得装置に送信する、監視システム。
JP2016128174A 2016-06-28 2016-06-28 監視装置及び監視システム Pending JP2018000330A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016128174A JP2018000330A (ja) 2016-06-28 2016-06-28 監視装置及び監視システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016128174A JP2018000330A (ja) 2016-06-28 2016-06-28 監視装置及び監視システム

Publications (1)

Publication Number Publication Date
JP2018000330A true JP2018000330A (ja) 2018-01-11

Family

ID=60945079

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016128174A Pending JP2018000330A (ja) 2016-06-28 2016-06-28 監視装置及び監視システム

Country Status (1)

Country Link
JP (1) JP2018000330A (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019138733A1 (ja) * 2018-01-12 2019-07-18 株式会社東海理化電機製作所 検出装置およびプログラム
JP2019130092A (ja) * 2018-01-31 2019-08-08 セイコーエプソン株式会社 生体情報測定装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6156629A (ja) * 1984-08-28 1986-03-22 アイシン精機株式会社 車上心拍計
JPS6357033A (ja) * 1986-08-27 1988-03-11 アイシン精機株式会社 車上心拍計
JP2006026211A (ja) * 2004-07-20 2006-02-02 Sharp Corp 車載型健康管理装置
JP2008301959A (ja) * 2007-06-06 2008-12-18 Tokai Rika Co Ltd ステアリングホイール構造
JP2010088487A (ja) * 2008-10-03 2010-04-22 Nissan Motor Co Ltd 脈波検出装置、この脈波検出装置を設けた車両、および脈波検出装置の制御方法
JP2010252875A (ja) * 2009-04-21 2010-11-11 Panasonic Corp 光電式生体測定装置
JP2011254957A (ja) * 2010-06-08 2011-12-22 Denso Corp 生体情報検出システム

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6156629A (ja) * 1984-08-28 1986-03-22 アイシン精機株式会社 車上心拍計
JPS6357033A (ja) * 1986-08-27 1988-03-11 アイシン精機株式会社 車上心拍計
JP2006026211A (ja) * 2004-07-20 2006-02-02 Sharp Corp 車載型健康管理装置
JP2008301959A (ja) * 2007-06-06 2008-12-18 Tokai Rika Co Ltd ステアリングホイール構造
JP2010088487A (ja) * 2008-10-03 2010-04-22 Nissan Motor Co Ltd 脈波検出装置、この脈波検出装置を設けた車両、および脈波検出装置の制御方法
JP2010252875A (ja) * 2009-04-21 2010-11-11 Panasonic Corp 光電式生体測定装置
JP2011254957A (ja) * 2010-06-08 2011-12-22 Denso Corp 生体情報検出システム

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019138733A1 (ja) * 2018-01-12 2019-07-18 株式会社東海理化電機製作所 検出装置およびプログラム
JP2019122459A (ja) * 2018-01-12 2019-07-25 株式会社東海理化電機製作所 検出装置およびプログラム
JP2019130092A (ja) * 2018-01-31 2019-08-08 セイコーエプソン株式会社 生体情報測定装置

Similar Documents

Publication Publication Date Title
US11334066B2 (en) Safety monitoring apparatus and method thereof for human-driven vehicle
US20140293053A1 (en) Safety monitoring apparatus and method thereof for human-driven vehicle
JP5038222B2 (ja) 生体状態推定装置及びプログラム並びに記録媒体
US6239707B1 (en) Driver condition monitoring apparatus
JP5167156B2 (ja) 生体状態評価装置、生体状態評価システム、プログラム、及び記録媒体
US8096946B2 (en) Vigilance monitoring system
CN107234968A (zh) 一种基于多模式生物感应的汽车控制系统
WO2016082359A1 (zh) 汽车方向盘
JP2007203913A (ja) 運転支援装置及び運転支援システム
KR101338041B1 (ko) Ssvep 기반 차량 안전 주행 제어 시스템 및 방법
US9142115B2 (en) Method and device for detecting fatigue
KR20140096609A (ko) 생체정보를 통한 운전자 개인인식 및 운전상태 변화정보 제공방법
US20110163863A1 (en) Driver's Alert System
KR101646418B1 (ko) 심박 신호 기반 운전자 상태 판단 장치 및 방법
JP2018000330A (ja) 監視装置及び監視システム
JP2011008457A (ja) 自動車運転者居眠り防止装置
KR20110105411A (ko) 무선 측정 생체 신호를 이용한 안전 운전 시스템
JP2014113410A (ja) 路面状態判別報知装置
JP2003061921A (ja) 体調判別方法および体調判別装置
WO2008054460A2 (en) Stay awake
KR101208428B1 (ko) 졸음운전 감지 장치 및 그 방법
JP2570329B2 (ja) 覚醒度判定装置
Kondapaneni et al. A smart drowsiness detection system for accident prevention
US9820687B2 (en) Method for determining drowsiness
KR20170013648A (ko) 자전거의 후방 감지 장치 및 그 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180910

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190611

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190614

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190719

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191210

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20200609