JP2021056983A - 車両ｃａｎ ｂｕｓ信号を利用した機械学習基盤運転者異常感知方法および装置 - Google Patents

車両ｃａｎ ｂｕｓ信号を利用した機械学習基盤運転者異常感知方法および装置 Download PDF

Info

Publication number
JP2021056983A
JP2021056983A JP2019207860A JP2019207860A JP2021056983A JP 2021056983 A JP2021056983 A JP 2021056983A JP 2019207860 A JP2019207860 A JP 2019207860A JP 2019207860 A JP2019207860 A JP 2019207860A JP 2021056983 A JP2021056983 A JP 2021056983A
Authority
JP
Japan
Prior art keywords
driver
abnormality
time
detecting
anomaly
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019207860A
Other languages
English (en)
Other versions
JP7212607B2 (ja
Inventor
錫雨 李
Ame Ri
錫雨 李
徳洙 金
Duk-Soo Kim
徳洙 金
金　義錫
Gishaku Kin
義錫 金
相奎 沈
Sang Gyoo Sim
相奎 沈
乗瑩 朴
Seung Young Park
乗瑩 朴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Penta Security Systems Inc
Original Assignee
Penta Security Systems Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Penta Security Systems Inc filed Critical Penta Security Systems Inc
Publication of JP2021056983A publication Critical patent/JP2021056983A/ja
Application granted granted Critical
Publication of JP7212607B2 publication Critical patent/JP7212607B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/40—Bus networks
    • H04L12/40169—Flexible bus arrangements
    • H04L12/40176—Flexible bus arrangements involving redundancy
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B60R16/023—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for transmission of signals between vehicle parts or subsystems
    • B60R16/0231—Circuits relating to the driving or the functioning of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W40/09—Driving style or behaviour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2433—Single-class perspective, e.g. one-against-all classification; Novelty detection; Outlier detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/40—Bus networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/40—Bus networks
    • H04L12/40052—High-speed IEEE 1394 serial bus
    • H04L12/40071—Packet processing; Packet format
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/08—Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12—Classification; Matching
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/40—Bus networks
    • H04L2012/40208—Bus networks characterized by the use of a particular bus standard
    • H04L2012/40215—Controller Area Network CAN
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/40—Bus networks
    • H04L2012/40267—Bus for use in transportation systems
    • H04L2012/40273—Bus for use in transportation systems the transportation system being a vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Automation & Control Theory (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Medical Informatics (AREA)
  • Debugging And Monitoring (AREA)
  • Emergency Alarm Devices (AREA)
  • Alarm Systems (AREA)
  • Testing And Monitoring For Control Systems (AREA)

Abstract

【課題】 運転者異常感知方法および装置を開示する。【解決手段】 車両の電子制御装置と通信するカンバスネットワークに基づいて運転者の異常を感知する方法において、前記カンバスネットワークから車両の運行と関連したカンバス信号を獲得する段階；オートエンコーダを利用して前記カンバス信号から感知ベクターを抽出する段階；および前記感知ベクターに基づいて運転者の異常を感知する段階を含む。【選択図】 図１

Description

本発明は運転者の異常を感知する方法および装置に関し、さらに詳細には車両カン（Ｃｏｎｔｒｏｌｌｅｒ Ａｒｅａ Ｎｅｔｗｏｒｋ；ＣＡＮ）バス（Ｂｕｓ）信号のそれぞれに対して、オートエンコーダ（Ａｕｔｏ Ｅｎｃｏｄｅｒ；ＡＥ）を利用して平均自乗誤差（Ｍｅａｎ Ｓｑｕａｒｅ Ｅｒｒｏｒ；ＭＳＥ）を計算したことに基づいて運転者の異常を感知する方法および装置に関する。
マシンラーニング（ｍａｃｈｉｎｅ ｌｅａｒｎｉｎｇ）とは、人工知能（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅｌ；ＡＩ）の一種であって、データに基づいてコンピュータが自ら学習した内容に基づいて回帰、分類、群集化などの予測作業を遂行することを指す。
ディープラーニング（ｄｅｅｐ ｌｅａｒｎｉｎｇ）は人の考え方をコンピュータに教える機械学習の一分野であり、多様な非線形変換技法の組み合わせを通じて高い水準の抽象化（ａｂｓｔｒａｃｔｉｏｎｓ、多量のデータや複雑な資料の中で核心的な耐用または機能を要約する作業）を試みる機械学習（ｍａｃｈｉｎｅ ｌｅａｒｎｉｎｇ）アルゴリズムの集合と定義され得る。
ディープラーニング構造は人工神経網（Ａｒｔｉｆｉｃｉａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ；ＡＮＮ）に基づいて設計された概念である。人工神経網は仮想のニューロンを数学的にモデリングした後、シミュレーションして人間の脳のような学習能力を有させようとするアルゴリズムであって、主にパターン認識に多く使われる。ディープラーニングで利用する人工神経網モデルは、線形フィッティング（ｌｉｎｅａｒ ｆｉｔｔｉｎｇ）と非線形変換（ｎｏｎｌｉｎｅａｒ ｔｒａｎｓｆｏｒｍａｔｉｏｎ ｏｒ ａｃｔｉｖａｔｉｏｎ）を繰り返して積み上げた構造を有する。ディープラーニングで使う神経網モデルは深層神経網（Ｄｅｅｐ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ；ＤＮＮ）、コンボリューショナル神経網（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ；ＣＮＮ）、循環神経網（Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ；ＲＮＮ）、制限ボルツマンマシン（Ｒｅｓｔｒｉｃｔｅｄ Ｂｏｌｔｚｍａｎｎ Ｍａｃｈｉｎｅ；ＲＢＭ）、深層信頼神経網（Ｄｅｅｐ Ｂｅｌｉｅｆ Ｎｅｔｗｏｒｋ；ＤＢＮ）および深層キュー−ネットワーク（Ｄｅｅｐ Ｑ−Ｎｅｔｗｏｒｋｓ）等が挙げられる。
また、運転者状態感知技術とは、運転者の疲労、居眠り、コンディション不良、飲酒などの状態をあらかじめ感知して注意を与えたり、危険な状況を回避できるように助ける技術である。
また、運転者区分感知技術とは、運転者の普段の車両の運行特性を把握して、他の運転者が運転をすると保険会社などに車両盗難申告を自動で通報して車両の盗難の危険を防止するための技術を指す。
例えば、先行技術には車両にドライバーモニターを設置して、運転者の目の開き状態と顔の方向を感知し、運転者が居眠りをしたり脇見をしていると判断されると警告音とともに計器盤に注意表示が現れるようにしたり、ブレーキシステムを作動させる技術がある。また、車両に搭載された操向角センサなどを利用してステアリングの操作やアクセルブレーキなどの操作から運転者の疲労状態を感知する技術がある。また、運転席の背もたれに体表脈波を検出する装置を設置して運転者の血管音の振動を感知する技術がある。
しかし、運転者の瞬き、瞳の動き、心臓拍動、血圧、体温など、生体信号の認識を利用して居眠り運転、飲酒運転などの運転者の運転不能状態または普段車両を運行する運転者ではない他の運転者が車両を運行する状態を感知する技術は、生体信号認識率に限界があるため完全に運転者を感知するには限界がある。
また、普段車両を運行する運転者ではない他の運転者が車両を運行する状態を感知する技術は、普段車両を運行する運転者が車両を運行時の燃費や平均速度などに関する統計値を求め、これに基づいて車の持ち主ではない他の運転者が車両を運行するかどうかを感知することができる。しかし、先行技術は車両の盗難事件が発生しても車両の燃費や平均速度などに関する統計値をすぐに求めることができず、車両運行が相当に進行されないと統計値を求めることができないという問題がある。
前記のような問題点を解決するための本発明の目的は、車線を変えたり曲線路での操向装置の作動方法、前方車両との距離による加速制御装置と制動装置の作動方法のような、運転者が有している運転習慣に基づいて車両のカン（ＣＡＮ）バス信号を分析して運転者の状態および普段の車両運転者ではない他の運転者が車両を運行する状態を感知する方法を提供するところにある。
前記目的を達成するための本発明の一実施例に係る運転者異常感知方法は、車両の電子制御装置（Ｅｌｅｃｔｒｏｎｉｃ Ｃｏｎｔｒｏｌ Ｕｎｉｔ；ＥＣＵ）と通信するカンバスネットワークに基づいて運転者の異常を感知する方法において、前記カンバスネットワークから車両の運行と関連したカンバス信号を獲得する段階；オートエンコーダを利用して前記カンバス信号から感知ベクターを抽出する段階；および前記感知ベクターに基づいて運転者の異常を感知する段階を含むことができる。
また、前記感知ベクターは、前記オートエンコーダを利用してカンバス信号のそれぞれに対して算出された平均自乗誤差値（ＭＳＥ）を活用して抽出され得る。
ここで、前記平均自乗誤差値（ＭＳＥ）は、前記オートエンコーダを構成する媒介変数を調整して最小化され得る。
また、前記感知ベクターに基づいて運転者の異常を感知する段階は、教師なし学習（Ｕｎｓｕｐｅｒｖｉｓｅｄ Ｌｅａｒｎｉｎｇ）に基づいた異常探知モデルを通じて運転者の異常を感知する段階を含むことができる。
ここで、教師なし学習に基づいた異常探知モデルを通じて運転者の異常を感知する段階は、一定時間の間変則点数（Ａｎｏｍａｌｙ Ｓｃｏｒｅ）を抽出して運転者の異常を感知する段階を含むことができる。
ここで、一定時間の間変則点数を抽出して運転者の異常を感知する段階は、前記一定時間の間前記変則点数が運転者の異常と関連した第１臨界値を超過する回数に基づいて運転者の異常を感知する段階を含むことができる。
また、一定時間の間変則点数を抽出して運転者の異常を感知する段階は、前記一定時間の間運転者の異常と関連した第２臨界値を超過する変則点数の時間による変化量を測定して運転者の異常を感知する段階を含むことができる。
前記目的を達成するための本発明の一実施例に係る運転者異常感知装置は、車両の電子制御装置と通信するカンバスネットワークに基づいて運転者の異常を感知する装置において、プロセッサ；および前記プロセッサを通じて実行される少なくとも一つの命令を保存するメモリを含み、前記少なくとも一つの命令は、前記カンバスネットワークから車両の運行と関連したカンバス信号を獲得するようにする命令；オートエンコーダを利用して前記カンバス信号から感知ベクターを抽出するようにする命令；および前記感知ベクターに基づいて運転者の異常を感知するようにする命令を含むことができる。
また、前記感知ベクターは、前記オートエンコーダを利用してカンバス信号のそれぞれに対して算出された平均自乗誤差値（ＭＳＥ）を活用して抽出され得る。
ここで、前記平均自乗誤差値（ＭＳＥ）は、前記オートエンコーダを構成する媒介変数を調整して最小化され得る。
また、前記感知ベクターに基づいて運転者の異常を感知するようにする命令は、教師なし学習に基づいた異常探知モデルを通じて運転者の異常を感知するようにする命令を含むことができる。
ここで、教師なし学習に基づいた異常探知モデルを通じて運転者の異常を感知するようにする命令は、一定時間の間変則点数を抽出して運転者の異常を感知するようにする命令を含むことができる。
ここで、一定時間の間変則点数を抽出して運転者の異常を感知するようにする命令は、前記一定時間の間前記変則点数が運転者の異常と関連した第１臨界値を超過する回数に基づいて運転者の異常を感知するようにする命令を含むことができる。
また、一定時間の間変則点数を抽出して運転者の異常を感知するようにする命令は、前記一定時間の間運転者の異常と関連した第２臨界値を超過する変則点数の時間による変化量を測定して運転者の異常を感知するようにする命令を含むことができる。
本発明の一実施例によると、カン（ＣＡＮ）バス信号に基づいて運転者の習慣を分析して別途の生体信号認識のための追加的な装備なしに運転者の異常を感知する方法を提供できるという長所を有する。
本発明の一実施例に係る運転者異常感知装置を説明するためのブロック図。 カンバス信号抽出部１１００を説明するためのブロック図。 長短期メモリ（Ｌｏｎｇ Ｓｈｏｒｔ Ｔｅｒｍ Ｍｅｍｏｒｙ；ＬＳＴＭ）に基づいたオートエンコーダ（Ａｕｔｏ Ｅｎｃｏｄｅｒ）部１２００を説明するためのブロック図。 オートエンコーダ部１２００で発生するカンバス信号の流れを説明するための図面。 オートエンコーダ部１２００で発生するカンバス信号の流れを説明するための図面。 運転者の異常を感知するために使われる単一クラスサポートベクターマシン（Ｏｎｅ Ｃｌａｓｓ−Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ）を説明するための図面。 運転者の異常を感知するために使われる単一クラスサポートベクターマシン（Ｏｎｅ Ｃｌａｓｓ−Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ）を説明するための図面。 本発明の一実施例に係る運転者異常感知方法の動作フローチャート。 本発明の一実施例に係る運転者異常感知装置のブロック構成図。
本発明は多様な変更を加えることができ、多様な実施例を有することができるところ、特定の実施例を図面に例示して詳細な説明に詳細に説明する。しかし、これは本発明を特定の実施形態に対して限定しようとするものではなく、本発明の思想および技術範囲に含まれるすべての変更、均等物乃至代替物を含むものと理解されるべきである。各図面の説明において、類似する参照符号を類似する構成要素に付した。
第１、第２、Ａ、Ｂなどの用語は多様な構成要素の説明に使われ得るが、前記構成要素は前記用語によって限定されてはならない。前記用語は一つの構成要素を他の構成要素から区別する目的でのみ使われる。例えば、本発明の権利範囲を逸脱することなく第１構成要素は第２構成要素と命名され得、同様に第２構成要素も第１構成要素と命名され得る。および／またはという用語は複数の関連した記載された項目の組み合わせまたは複数の関連した記載された項目のうちいずれかの項目を含む。
ある構成要素が他の構成要素に「連結されて」いるとか「接続されて」いると言及された時には、その他の構成要素に直接的に連結されていたりまたは接続されていてもよいが、中間に他の構成要素が存在してもよいと理解されるべきである。反面、ある構成要素が他の構成要素に「直接連結されて」いるとか「直接接続されて」いると言及された時には、中間に他の構成要素が存在しないものと理解されるべきである。
本出願で使った用語は単に特定の実施例を説明するために使われたものであって、本発明を限定しようとする意図ではない。単数の表現は文脈上明白に異なることを意味しない限り、複数の表現を含む。本出願で、「含む」または「有する」等の用語は、明細書上に記載された特徴、数字、段階、動作、構成要素、部品またはこれらを組み合わせたものが存在することを指定しようとするものであって、一つまたはそれ以上の他の特徴や数字、段階、動作、構成要素、部品またはこれらを組み合わせたものなどの存在または付加の可能性をあらかじめ排除しないものと理解されるべきである。
異なって定義されない限り、技術的または科学的な用語を含んでここで使われるすべての用語は、本発明が属する技術分野で通常の知識を有する者によって一般的に理解されるものと同じ意味を有している。一般的に使われる辞書に定義されているような用語は関連技術の文脈上有する意味と一致する意味を有すると解釈されるべきであり、本出願で明白に定義しない限り、理想的または過度に形式的な意味と解釈されない。
以下、本発明に係る好ましい実施例を添付された図面を参照して詳細に説明する。
図１は、本発明の一実施例に係る運転者異常感知装置を説明するためのブロック図である。
図１を詳察すると、本発明の一実施例に係る運転者異常感知装置１０００は、カンバス信号抽出部１１００およびオートエンコーダ（Ａｕｔｏ Ｅｎｃｏｄｅｒ）部１２００を含むことができる。
カンバス信号抽出部１１００はカンバスネットワークからカンバス信号を獲得することができる。ここで、カンバス信号は車両内部の電子制御装置と通信のためのカンバスネットワークを通じて信号をやり取りすることができる。
また、オートエンコーダ部１２００は長短期メモリ（Ｌｏｎｇ Ｓｈｏｒｔ Ｔｅｒｍ Ｍｅｍｏｒｙ；ＬＳＴＭ）、循環神経網（Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ；ＲＮＮ）およびゲート循環ユニット（Ｇａｔｅｄ Ｒｅｃｕｒｒｅｎｔ Ｕｎｉｔ；ＧＲＵ）のようなディープラーニング（Ｄｅｅｐ Ｌｅａｒｎｉｎｇ）モデルを含んで構成され得、カンバス信号抽出部１１００から獲得したカンバス信号の平均自乗誤差値（ＭＳＥ）を抽出することができる。
図２は、カン（ＣＡＮ）バス（Ｂｕｓ）信号抽出部１１００を説明するためのブロック図である。
カン（Ｃｏｎｔｒｏｌｌｅｒ Ａｒｅａ Ｎｅｔｗｏｒｋ；ＣＡＮ）は自動車の各種計測制御装備の間にデジタル直列通信を提供するための車両用ネットワークシステムを意味し得る。また、車両内電子部品の複雑な電気配線とリレーを直列通信線に代替して知能化することによって、重量感と複雑性を減らし、車両でのリアルタイム要求を満足させることができる。また、電子的干渉によって発生する車両の異常ｎ有無を診断し、運転中の突発状況時に有機的に車両と通信することができる。
図２を詳察すると、カン（ＣＡＮ）バス信号抽出部１１００は少なくとも２個のノード、カン−ロー（ＣＡＮ−Ｌｏｗ）配線、カン−ハイ（ＣＡＮ−Ｈｉｇｈ）配線および少なくとも２個のターミナル抵抗で構成され得る。
ここで、ノードはバスシステムを構成する多数のステーションを意味し得る。例えば、自動車のエンジン、自動変速機、ＡＢＳなどをコンピュータで制御する電子制御装置（ＥＣＵ）を意味し得る。
また、バス配線はノードのトランシーバー（Ｔｒａｎｓｃｅｉｖｅｒ）によりカン−ハイ（ＣＡＮ−Ｈｉｇｈ）配線に優性水準が形成されると、カン−ハイ配線の電圧は上昇し得、同時にカン−ロー（ＣＡＮ−Ｌｏｗ）配線の電圧は下降し得る。
また、ターミナル抵抗はカン−ハイ配線とカン−ロー配線間の回路を連結することができ、カンバス配線で反射（Ｒｅｆｌｅｃｔｉｏｎ）が発生することを防止することができる。
また、カン（ＣＡＮ）はバス配線を通じて情報の送信および受信中でなければ、マルチ−マスター（Ｍｕｌｔｉ−Ｍａｓｔｅｒ）原理に従って各ノードはバス配線にメッセージを伝送することができる。また、多数の電子制御装置（ＥＣＵ）が同時にメッセージを伝送しようとする場合には、仲裁（Ａｒｂｉｔｒａｔｉｏｎ）を通じて最も重要なメッセージを最も先に伝送することができる。
図３は、長短期メモリ（Ｌｏｎｇ Ｓｈｏｒｔ Ｔｅｒｍ Ｍｅｍｏｒｙ；ＬＳＴＭ）に基づいたオートエンコーダ（Ａｕｔｏ Ｅｎｃｏｄｅｒ）部１２００を説明するためのブロック図である。
図３を詳察すると、オートエンコーダ部１２００はエンコーダ（Ｅｎｃｏｄｅｒ）１２１０とデコーダ（Ｄｅｃｏｄｅｒ）１２２０で構成され得る。図３には複数のエンコーダおよび複数のデコーダが図示されているが、これは複数のエンコーダおよびデコーダの繰り返される演算を説明するためのものであって、すべてが同一のエンコーダおよびデコーダであり得る。
オートエンコーダは出力データを入力データと類似するように作って自分を再現できるように学習する装置を意味し得る。すなわち、オートエンコーダは後端のデコーダを付けることによって入力と出力が同じであるかを比較することができる。したがって、自らが正解データとなるところ、正解データを別途準備する必要がないので教師なし学習に分類され得る。
ここで、ｘｔは特定の時点ｔでオートエンコーダのエンコーダに入力されたカン（ＣＡＮ）バス信号ベクターを意味し得、
Figure 2021056983
 はオートエンコーダによりデコーダから出力される復旧されたカン（ＣＡＮ）バス信号ベクターを意味し得る。
また、ｚｔはオートエンコーダのエンコーダに入力されるｘｔによって出力されるカン（ＣＡＮ）バス信号ベクターを意味し得、ｈｌ ｔは特定の時点ｔでｌ番目のＬＳＴＭ階層の隠し（Ｈｉｄｄｅｎ Ｓｔａｔｅ）ベクターを意味し得る。また、Ｓはシークエンス（Ｓｅｑｕｅｎｃｅ）の長さを意味し得、Ｎｓはオートエンコーダのエンコーダとデコーダを構成するＬＳＴＭ階層の数を意味し得る。
また、エンコーダ１２１０は電子回路で信号を他の信号に変える変換器を意味し得、本発明ではオートエンコーダに入力される入力データを圧縮する機能を遂行することができる。また、デコーダ１２２０は符号化された信号を他の信号に変える変換器を意味し得、本発明ではオートエンコーダから出力される出力データを生成する機能を遂行することができる。
また、現在の時間（ｔ＝ｎ）に対するデータを復旧するために、直後時間（ｔ＝ｎ＋１）に対する入力データをデコーダに入力するオートエンコーダを条件付き（Ｃｏｎｄｉｔｉｏｎａｌ）オートエンコーダと命名することができる。すなわち、条件付きオートエンコーダでは、時系列入力データを逆にして逆時系列（Ｔｉｍｅ Ｉｎｖｅｒｓｅ）入力データをデコーダに入力することができる。例えば、図３を参照すると、現在の時間がｔ＝０である場合、現在の時間に対するデータを復旧するために直後時間（ｔ＝１）に対する入力データ１２２１をデコーダに入力することができる。同様に、現在の時間がｔ＝Ｓ−２である場合、現在の時間に対するデータを復旧するために直後時間（ｔ＝Ｓ−１）に対する入力データ１２２２をデコーダに入力することができる。
また、現在の時間（ｔ＝ｎ）に対するデータを復旧するために、直後時間（ｔ＝ｎ＋１）に対する入力データの代わりに直前時間にデコーダで発生した出力データを入力データにして、デコーダに入力するオートエンコーダを無条件（Ｕｎｃｏｎｄｉｔｉｏｎａｌ）オートエンコーダと命名することができる。例えば、図３を参照すると、現在の時間がｔ＝０である場合、現在の時間に対するデータを復旧するために、直後時間に対する入力データ１２２１の代わりに
Figure 2021056983
 を入力データにしてデコーダに入力することができる。同様に、現在の時間がｔ＝Ｓ−２である場合、現在の時間に対するデータを復旧するために、直後時間に対する入力データ１２２２の代わりに
Figure 2021056983
 を入力データにしてデコーダに入力することができる。
図３では長短期メモリを基盤とするオートエンコーダについて説明したが、循環神経網（Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ；ＲＮＮ）、ゲート循環ユニット（Ｇａｔｅｄ Ｒｅｃｕｒｒｅｎｔ Ｕｎｉｔ）のようなディープラーニングモデルに基づいたオートエンコーダを利用してオートエンコーダ部１２００を構成することができる。
図４および図５は、オートエンコーダ部１２００で発生するカン（ＣＡＮ）バス信号の流れを説明するための図面である。
図４および図５を詳察すると、エンコーダおよびデコーダはＬＳＴＭ階層および完全連結階層（Ｆｕｌｌｙ Ｃｏｎｎｅｃｔｅｄ Ｌａｙｅｒ）で構成され得る。ここで、完全連結階層は以前の階層のすべてのニューロンと結合された形態の階層を意味し得る。また、オートエンコーダは入力ｘｔと以前の隠しベクターｈｌ ｔ−１を利用して新しい隠しベクターｈｌ ｔを出力することができ、シークエンスの長さを考慮して設計されたエンコーダの数に基づいて入力ｘｔを時系列的に入力して時間による隠しベクターｈを出力することができる。
また、デコーダは自分から出力されるカン（ＣＡＮ）バス信号ベクターを入力値にすることができ、直後時間に対するカンバス信号ベクターを入力値１２２１、１２２２にすることができる。以前の時間に対するカン（ＣＡＮ）バス信号ベクター１２２１、１２２２を入力値にすることができる。この時、直後時間に対するカンバス信号ベクターを入力データにするデコーダを含むオートエンコーダを条件付きオートエンコーダと命名することができ、デコーダで出力される復旧信号ベクターを入力データにするデコーダを含むオートエンコーダを無条件オートエンコーダと命名することができる。
数式（１）はカン（ＣＡＮ）バス信号に対して平均自乗誤差を抽出する数式である。
Figure 2021056983
ここで、Ｓはシークエンスの長さを意味し得、ｘｔは特定の時点ｔでオートエンコーダのエンコーダに入力されたカン（ＣＡＮ）バス信号ベクターを意味し得、
Figure 2021056983
 はオートエンコーダのデコーダで出力されるカン（ＣＡＮ）バス信号ベクターを意味し得る。すなわち、オートエンコーダを構成する媒介変数をＲＭＳＰｒｏｐ、ＡＤＡＭなどのような最適化アルゴリズムを利用して平均自乗誤差値（ＭＳＥ）を最小化して抽出することができる。
図４および図５では長短期メモリを基盤とするオートエンコーダを基準としてカンバス信号から平均自乗誤差（ＭＳＥ）を抽出する方法について説明したが、循環神経網（Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ；ＲＮＮ）、ゲート循環ユニット（Ｇａｔｅｄ Ｒｅｃｕｒｒｅｎｔ Ｕｎｉｔ）のようなディープラーニングモデルに基づいたオートエンコーダを利用してカンバス信号から平均自乗誤差を抽出することができる。
図６は、運転者の異常を感知するために使われる単一クラスサポートベクターマシン（Ｏｎｅ Ｃｌａｓｓ−Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ）学習を説明するための図面である。
一般的にサポートベクターマシン（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ；ＳＶＭ）は二種類のクラスで構成されたデータを分離する超平面（Ｈｙｐｅｒｐｌａｎｅ）を有する機械学習（Ｍａｃｈｉｎｅ Ｌｅａｒｎｉｎｇ）アルゴリズムを意味し得る。ここで、超平面はクラスのデータを分離するＮ次元の空間上の平面すなわち、２次元ではクラスを分ける直線、３次元ではクラスを分ける平面を意味し得る。したがって、単一クラスサポートベクターマシン（ＯＣ−ＳＶＭ）学習は一つのクラスのみを分類するための機械学習アルゴリズムを意味し得る。
図６を詳察すると、本発明の一実施例に係る運転者異常感知装置は、単一クラスサポートベクターマシン（ＯＣ−ＳＶＭ）学習のために必要な訓練データでカン（ＣＡＮ）バス信号のそれぞれに対する平均自乗誤差値（ＭＳＥ）を算出し、平均自乗誤差値（ＭＳＥ）をベクター化して本来の空間（Ｏｒｉｇｉｎａｌ Ｓｐａｃｅ）で感知ベクターを収集することができる。引き続き、収集された平均自乗誤差値（ＭＳＥ）の感知ベクターに基づいて単一クラスサポートベクターマシン（０Ｃ−ＳＶＭ）学習を遂行することができる。
数式（２）（は、特定の時間区間でそれぞれのカンバス信号に対する平均自乗誤差値（ＭＳＥ）を算出してベクター化した感知ベクター（Ｙｔ）を抽出する数式である。
Figure 2021056983
ここで、Ｓは特定の時間区間の間のシークエンスの長さを意味し得、ｘｔは特定の時点ｔでオートエンコーダのエンコーダに入力されたカン（ＣＡＮ）バス信号ベクターを意味し得、
Figure 2021056983
 はオートエンコーダのデコーダによって復旧されたｘｔに対応する復旧信号ベクターを意味し得る。
また、平均自乗誤差値（ＭＳＥ）の感知ベクターは、一般ベクター１０、運転者を感知するベクターを分類するためのサポートベクター（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ）２０および変則ベクター３０であり得る。ここで、変則ベクターは運転者の状態が異常（運転状態不能または車両盗難状態）であることを示し得る。また、サポートベクターをすべて連結して運転者を感知するベクターを分類する超平面を形成することができる。
また、本発明はサポートベクターマシン（ＳＶＭ）学習結果として、サポートベクターをすべて連結した超平面と運転者の状態を正常と異常（運転不能状態または車両盗難状態）で判定する判定境界面４０を形成することができる。ここで、判定境界面は感知ベクターのうち、単一クラスサポートベクターマシン（ＯＣ−ＳＶＭ）により選別されたサポートベクターで構成され得る。また、すべての感知ベクターが判定境界面の内側に存在できず、運転者の運転状態が正常であることを表す感知ベクターであるにもかかわらず判定境界面の外部に位置し得る。ただし、単一クラスサポートベクターマシンのパラメーター設定によって、運転者の運転状態が正常であることを表す感知ベクターをすべて判定境界面の内側に位置するようにすることができる。
図６では単一クラスサポートベクターマシン（ＯＣ−ＳＶＭ）学習モデルに基づいて運転者の異常を感知する方法について説明したが、ランダムフォレスト（Ｒａｎｄｏｍ−Ｆｏｒｅｓｔ）学習モデルのような教師なし学習に基づいた異常探知モデルを通じて運転者の異常を感知してもよい。
図７は、運転者の異常を感知するために使われる単一クラスサポートベクターマシン（Ｏｎｅ Ｃｌａｓｓ−Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ）学習を説明するための図面である。
図７を詳察すると、本発明の一実施例に係る運転者異常感知装置は訓練データでカン（ＣＡＮ）バス信号のそれぞれに対する平均自乗誤差値（ＭＳＥ）を算出し、平均自乗誤差値（ＭＳＥ）をベクター化して特徴空間（Ｆｅａｔｕｒｅ Ｓｐａｃｅ）で感知ベクターを収集することができる。引き続き、収集された平均自乗誤差値（ＭＳＥ）のベクターに基づいて単一クラスサポートベクターマシン（０Ｃ−ＳＶＭ）学習を遂行することができる。
ここで、変則ベクター３０は運転者の異常状態（例えば、運転者の運転不能状態または車両盗難状態）を判定しようとする感知ベクターを意味し得、変則ベクター３０と判定境界面４０までの距離を変則点数と命名することができる。したがって、運転者異常感知装置の使用者は基準点数を設定することによって変則点数により運転者を感知することができる。
また、一定時間の間変則点数を抽出して、変則点数が運転者の異常状態（例えば、運転者の運転不能状態または車両盗難状態）と関連した臨界値（第１臨界値）を越える回数を測定したことに基づいて、運転者の異常状態（例えば、運転者の運転不能状態または車両盗難状態）を感知することができる。ここで、変則点数が第１臨界値を越える回数を測定して使用者が設定した基準回数を超過する場合、運転者の異常状態（例えば、運転者の運転不能状態または車両盗難状態）を感知することができる。
例えば、車両が特定速度以上または以下の状況、高速道路を運行または市内を運行する状況で一定時間の間変則点数を抽出して、変則点数が第１臨界値を越える回数を測定して運転者の異常状態（例えば、運転者の運転不能状態または車両盗難状態）を感知することができる。すなわち、それぞれの状況によって運転者の異常状態（例えば、運転者の運転不能状態または車両盗難状態）と関連した第１臨界値を異ならせて設定し、それぞれの臨界値に対して変則点数が第１臨界値を越える回数を測定して運転不能状態または車両盗難状態を感知することができる。
また、変則点数が第１臨界値を越える回数を測定して運転者の運転不能状態または車両盗難状態を感知する方法の他にも、運転者の異常状態（例えば、運転者の運転不能状態または車両盗難状態）を感知する性能をさらに向上させるために、追加的な検出方式が考慮され得る。
例えば、普段の車両運転者の運行特性に対する変則点数を時系列的に観測すれば、時間による変則点数変化量（ｆｌｕｃｔｕａｔｉｏｎ）が大きくないこともあるが、普段の車両運転者ではない他の運転者が車両を運転したり運転者が運転不能状態である場合に変則点数を時系列で観測すれば、変則点数が第１臨界値を越えない場合にも時間による変則点数変化量が大きいことがある。
したがって、車両運行状態に対する変則点数の時間による変化量を観測して、普段の車両運転者の運行特性に対する変則点数を時系列的に観測したものと関連した臨界値（第２臨界値）を越えると、運転不能状態または車両盗難状態であると判定することができる。
また、変則点数の時間による変化量を測定する方式として多様な方式を適用することができる。例えば、株式市場や石油取引市場で価格変動の観測に使われるログ価格差（Ｌｏｇ Ｐｒｉｃｅ Ｄｉｆｆｅｒｅｎｃｅ）を考慮して変則点数の時間による変化量を測定することができる。
数式（３）は、ログ価格差（Ｌｏｇ Ｐｒｉｃｅ Ｄｉｆｆｅｒｅｎｃｅ）を考慮して変則点数の時間による変化量（ｒｔ）を抽出する数式である。
Figure 2021056983
ここで、ａｔは感知ベクター（Ｙｔ）を単一クラスサポートベクターマシン（ＯＣ−ＳＶＭ）およびランダムフォレスト（Ｒａｎｄｏｍ Ｆｏｒｅｓｔ）学習モデルのような教師なし学習モデルを通じて抽出した変則点数を意味し得、Ｃは運転者の異常状態（例えば、運転者の運転不能状態または車両盗難状態）を感知する性能を安定化するための定数値を意味し得、Ｌは変則点数を測定する周期を意味し得る。
図７では単一クラスサポートベクターマシン（ＯＣ−ＳＶＭ）学習モデルに基づいて運転者の異常を感知する方法について説明したが、ランダムフォレスト（Ｒａｎｄｏｍ−Ｆｏｒｅｓｔ）学習モデルのような教師なし学習に基づいた異常探知モデルを通じて運転者の異常を感知してもよい。
図８は、本発明の一実施例に係る運転者異常感知方法の動作フローチャートである。
本発明の一実施例に係る運転者異常感知方法は、車両の電子制御装置と通信するカンバスネットワークに基づいて運転者の異常を感知する方法において、前記カンバスネットワークから車両の運行と関連したカンバス信号を獲得する段階（Ｓ８１０）を含むことができる。
また、本発明の一実施例に係る運転者異常感知方法は、オートエンコーダを利用して前記カンバス信号から感知ベクターを抽出する段階（Ｓ８２０）を含むことができる。
ここで、前記オートエンコーダは、長短期メモリ（Ｌｏｎｇ Ｓｈｏｒｔ Ｔｅｒｍ Ｍｅｍｏｒｙ；ＬＳＴＭ）、循環神経網（Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ；ＲＮＮ）およびゲート循環ユニット（Ｇａｔｅｄ Ｒｅｃｕｒｒｅｎｔ Ｕｎｉｔ；ＧＲＵ）のようなディープラーニング（Ｄｅｅｐ Ｌｅａｒｎｉｎｇ）モデルを含むことができる。
また、前記感知ベクターは、前記オートエンコーダを利用してカンバス信号のそれぞれに対して算出された平均自乗誤差値（ＭＳＥ）を活用して抽出され得る。
ここで、前記平均自乗誤差値（ＭＳＥ）は、前記オートエンコーダを構成する媒介変数を調整して最小化され得る。
また、本発明の一実施例に係る運転者異常感知方法は、前記感知ベクターに基づいて運転者の異常を感知する段階（Ｓ８３０）を含むことができる。
また、前記感知ベクターに基づいて運転者の異常を感知する段階は、教師なし学習に基づいた異常探知モデルを通じて運転者の異常を感知する段階を含むことができる。
ここで、教師なし学習に基づいた異常探知モデルを通じて運転者の異常を感知する段階は、一定時間の間変則点数を抽出して運転者の異常を感知する段階を含むことができる。
ここで、一定時間の間変則点数（Ａｎｏｍａｌｙ Ｓｃｏｒｅ）を抽出して運転者の異常を感知する段階は、前記一定時間の間前記変則点数が運転者の異常と関連した第１臨界値を超過する回数に基づいて運転者の異常を感知する段階を含むことができる。
また、一定時間の間変則点数（Ａｎｏｍａｌｙ Ｓｃｏｒｅ）を抽出して運転者の異常を感知する段階は、前記一定時間の間運転者の異常と関連した第２臨界値を超過する変則点数の時間による変化量を測定して運転者の異常を感知する段階を含むことができる。
図９は、本発明の一実施例に係る運転者異常感知装置のブロック構成図である。
本発明の一実施例に係る運転者異常感知装置１０００は、少なくとも一つのプロセッサ１０１０、前記プロセッサを通じて実行される少なくとも一つの命令を保存するメモリ１０２０およびネットワークと連結されて通信を遂行する送受信装置１０３０を含むことができる。
運転者異常感知装置１０００はまた、入力インタフェース装置１０４０、出力インタフェース装置１０５０、保存装置１０６０等をさらに含むことができる。運転者異常感知装置１０００に含まれたそれぞれの構成要素はバス（Ｂｕｓ）１０７０により連結されて通信を遂行することができる。
プロセッサ１０１０はメモリ１０２０および保存装置１０６０のうち、少なくとも一つに保存されたプログラム命令（ｐｒｏｇｒａｍ ｃｏｍｍａｎｄ）を実行することができる。プロセッサ１０１０は中央処理装置（ｃｅｎｔｒａｌ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ、ＣＰＵ）、グラフィック処理装置（ｇｒａｐｈｉｃｓ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ、ＧＰＵ）、または本発明の実施例に係る方法が遂行される専用のプロセッサを意味し得る。メモリ１０２０および保存装置１０６０のそれぞれは揮発性保存媒体および不揮発性保存媒体のうち少なくとも一つで構成され得る。例えば、メモリ１０２０は読み取り専用メモリ（ｒｅａｄ ｏｎｌｙ ｍｅｍｏｒｙ、ＲＯＭ）およびランダムアクセスメモリ（ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ、ＲＡＭ）のうち少なくとも一つで構成され得る。
保存装置１０６０はまた、オートエンコーダを利用して算出された平均自乗誤差値（ＭＳＥ）を保存することができ、単一クラスサポートベクターマシン（Ｏｎｅ Ｃｌａｓｓ−Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ）学習結果およびランダムフォレスト学習結果を保存することができる。
ここで、少なくとも一つの命令は、前記カンバスネットワークから車両の運行と関連したカンバス信号を獲得するようにする命令；オートエンコーダ（Ａｕｔｏ Ｅｎｃｏｄｅｒ）を利用して前記カンバス信号から感知ベクターを抽出するようにする命令；および前記感知ベクターに基づいて運転者の異常を感知するようにする命令を含むことができる。
ここで、前記オートエンコーダ（Ａｕｔｏ Ｅｎｃｏｄｅｒ）は、長短期メモリ（Ｌｏｎｇ Ｓｈｏｒｔ Ｔｅｒｍ Ｍｅｍｏｒｙ；ＬＳＴＭ）、循環神経網（Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ；ＲＮＮ）およびゲート循環ユニット（Ｇａｔｅｄ Ｒｅｃｕｒｒｅｎｔ Ｕｎｉｔ；ＧＲＵ）のようなディープラーニング（Ｄｅｅｐ Ｌｅａｒｎｉｎｇ）モデルを含むことができる。
また、前記感知ベクターは、前記オートエンコーダを利用してカンバス信号のそれぞれに対して算出された平均自乗誤差値（Ｍｅａｓｕｒｅ Ｓｑｕａｒｅ Ｅｒｒｏｒ；ＭＳＥ）を活用して抽出され得る。
ここで、前記平均自乗誤差値（ＭＳＥ）は、前記オートエンコーダを構成する媒介変数を調整して最小化され得る。
また、前記感知ベクターに基づいて運転者の異常を感知するようにする命令は、教師なし学習に基づいた異常探知モデルを通じて運転者の異常を感知するようにする命令を含むことができる。
ここで、教師なし学習に基づいた異常探知モデルを通じて運転者の異常を感知するようにする命令は、一定時間の間変則点数を抽出して運転者の異常を感知するようにする命令を含むことができる。
ここで、一定時間の間変則点数を抽出して運転者の異常を感知するようにする命令は、前記一定時間の間前記変則点数が運転者の異常と関連した第１臨界値を超過する回数に基づいて運転者の異常を感知するようにする命令を含むことができる。
また、一定時間の間変則点数を抽出して運転者の異常を感知するようにする命令は、前記一定時間の間運転者の異常と関連した第２臨界値を超過する変則点数の時間による変化量を測定して運転者の異常を感知するようにする命令を含むことができる。
本発明の実施例に係る方法の動作は、コンピュータで読み取りできる記録媒体に、コンピュータ読み取り可能プログラムまたはコードで具現することが可能である。コンピュータ読み取り可能記録媒体はコンピュータシステムによって読み取りできるデータが保存されるすべての種類の記録装置を含む。また、コンピュータ読み取り可能記録媒体はネットワークに連結されたコンピュータシステムに分散されて、分散方式でコンピュータで読み取りできるプログラムまたはコードが保存され実行され得る。
また、コンピュータ読み取り可能記録媒体は、ロム（ｒｏｍ）、ラム（ｒａｍ）、フラッシュメモリ（ｆｌａｓｈ ｍｅｍｏｒｙ）等のようにプログラム命令を保存し遂行するように特別に構成されたハードウェア装置を含むことができる。プログラム命令はコンパイラ（ｃｏｍｐｉｌｅｒ）により作られるような機械語コードだけでなくインタープリタ（ｉｎｔｅｒｐｒｅｔｅｒ）等を使ってコンピュータによって実行され得る高級言語コードを含むことができる。
本発明の一部の側面は装置の文脈で説明されたが、それは相応する方法による説明も表すことができ、ここでブロックまたは装置は方法段階または方法段階の特徴に相応する。同様に、方法の文脈で説明された側面も相応するブロックまたはアイテムまたは相応する装置の特徴で表すことができる。方法段階のいくつか又はすべては例えば、マイクロプロセッサ、プログラム可能なコンピュータまたは電子回路のようなハードウェア装置によって（または利用して）遂行され得る。いくつかの実施例で、最も重要な方法段階の一つ以上はこのような装置によって遂行され得る。
以上、本発明の好ましい実施例を参照して説明したが、該当技術分野の熟練した当業者は下記の特許請求の範囲に記載された本発明の思想および領域から逸脱しない範囲内で本発明を多様に修正および変更できることが理解できるはずである。
１０００ 運転者異常感知装置
１０１０ プロセッサ
１０２０ メモリ
１０３０ 送受信装置
１０４０ 入力インタフェース装置
１０５０ 出力インタフェース装置
１０６０ 保存装置
１１００ カンバス信号
１２００ オートエンコーダ部

Claims (14)

  1. 車両の電子制御装置と通信するカンバスネットワークに基づいて運転者の異常を感知する方法において、
    前記カンバスネットワークから車両の運行と関連したカンバス信号を獲得する段階；
    オートエンコーダを利用して前記カンバス信号から感知ベクターを抽出する段階；および
    前記感知ベクターに基づいて運転者の異常を感知する段階を含む、運転者異常感知方法。
  2. 前記感知ベクターは、
    前記オートエンコーダを利用してカンバス信号のそれぞれに対して算出された平均自乗誤差値（ＭＳＥ）を活用して抽出される、請求項１に記載の運転者異常感知方法。
  3. 前記平均自乗誤差値（ＭＳＥ）は、
    前記オートエンコーダを構成する媒介変数を調整して最小化される、請求項２に記載の運転者異常感知方法。
  4. 前記感知ベクターに基づいて運転者の異常を感知する段階は、
    教師なし学習に基づいた異常探知モデルを通じて運転者の異常を感知する段階を含む、請求項１に記載の運転者異常感知方法。
  5. 教師なし学習に基づいた異常探知モデルを通じて運転者の異常を感知する段階は、
    一定時間の間変則点数を抽出して運転者の異常を感知する段階を含む、請求項４に記載の運転者異常感知方法。
  6. 一定時間の間変則点数を抽出して運転者の異常を感知する段階は、
    前記一定時間の間前記変則点数が運転者の異常と関連した第１臨界値を超過する回数に基づいて運転者の異常を感知する段階を含む、請求項５に記載の運転者異常感知方法。
  7. 一定時間の間変則点数（Ａｎｏｍａｌｙ Ｓｃｏｒｅ）を抽出して運転者の異常を感知する段階は、
    前記一定時間の間運転者の異常と関連した第２臨界値を超過する変則点数の時間による変化量を測定して運転者の異常を感知する段階を含む、請求項５に記載の運転者異常感知方法。
  8. 車両の電子制御装置と通信するカンバスネットワークに基づいて運転者の異常を感知する装置において、
    プロセッサ；および
    前記プロセッサを通じて実行される少なくとも一つの命令を保存するメモリを含み、
    前記少なくとも一つの命令は、
    前記カンバスネットワークから車両の運行と関連したカンバス信号を獲得するようにする命令；
    オートエンコーダを利用して前記カンバス信号から感知ベクターを抽出するようにする命令；および
    前記感知ベクターに基づいて運転者の異常を感知するようにする命令を含む、運転者異常感知装置。
  9. 前記感知ベクターは、
    前記オートエンコーダを利用してカンバス信号のそれぞれに対して算出された平均自乗誤差値（ＭＳＥ）を活用して抽出される、請求項８に記載の運転者異常感知装置。
  10. 前記平均自乗誤差値（ＭＳＥ）は、
    前記オートエンコーダを構成する媒介変数を調整して最小化される、請求項９に記載の運転者異常感知装置。
  11. 前記感知ベクターに基づいて運転者の異常を感知するようにする命令は、
    教師なし学習に基づいた異常探知モデルを通じて運転者の異常を感知するようにする命令を含む、請求項８に記載の運転者異常感知装置。
  12. 教師なし学習に基づいた異常探知モデルを通じて運転者の異常を感知するようにする命令は、
    一定時間の間変則点数を抽出して運転者の異常を感知するようにする命令を含む、請求項１１に記載の運転者異常感知装置。
  13. 一定時間の間変則点数を抽出して運転者の異常を感知するようにする命令は、
    前記一定時間の間前記変則点数が運転者の異常と関連した第１臨界値を超過する回数に基づいて運転者の異常を感知するようにする命令を含む、請求項１２に記載の運転者異常感知装置。
  14. 一定時間の間変則点数を抽出して運転者の異常を感知するようにする命令は、
    前記一定時間の間運転者の異常と関連した第２臨界値を超過する変則点数の時間による変化量を測定して運転者の異常を感知するようにする命令を含む、請求項１２に記載の運転者異常感知装置。
JP2019207860A 2019-09-26 2019-11-18 車両ｃａｎ ｂｕｓ信号を利用した機械学習基盤運転者異常感知方法および装置 Active JP7212607B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2019-0118628 2019-09-26
KR20190118628 2019-09-26

Publications (2)

Publication Number Publication Date
JP2021056983A true JP2021056983A (ja) 2021-04-08
JP7212607B2 JP7212607B2 (ja) 2023-01-25

Family

ID=75163582

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019207860A Active JP7212607B2 (ja) 2019-09-26 2019-11-18 車両ｃａｎ ｂｕｓ信号を利用した機械学習基盤運転者異常感知方法および装置

Country Status (2)

Country Link
US (1) US11529960B2 (ja)
JP (1) JP7212607B2 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210073883A (ko) * 2019-12-11 2021-06-21 현대자동차주식회사 양방향 차량상태정보 제공이 가능한 정보공유 플랫폼, 이를 갖는 시스템, 그리고 이의 방법
US11973769B1 (en) * 2020-02-11 2024-04-30 Bae Systems Information And Electronic Systems Integration Inc. Auto-encoders for anomaly detection in a controller area network (CAN)
US11820387B2 (en) * 2021-05-10 2023-11-21 Qualcomm Incorporated Detecting driving behavior of vehicles
US11851070B1 (en) * 2021-07-13 2023-12-26 Lytx, Inc. Driver identification using geospatial information
CN113992533B (zh) * 2021-12-29 2022-03-22 湖南大学 一种车载can总线数据异常检测识别方法
CN115964676A (zh) * 2022-12-30 2023-04-14 长安大学 一种无监督自动驾驶汽车故障检测方法及系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019049778A (ja) * 2017-09-07 2019-03-28 日本電信電話株式会社 検知装置、検知方法及び検知プログラム

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS61164042A (ja) * 1985-01-16 1986-07-24 Nissan Motor Co Ltd タ−ボチヤ−ジヤの過給圧制御装置
US7744099B2 (en) * 2004-11-04 2010-06-29 Driveright Holdings, Ltd. Method and system for adjusting a vehicle aligned with an artificial horizon
US8306931B1 (en) * 2009-08-06 2012-11-06 Data Fusion & Neural Networks, LLC Detecting, classifying, and tracking abnormal data in a data stream
CN105139070B (zh) * 2015-08-27 2018-02-02 南京信息工程大学 基于人工神经网络和证据理论的疲劳驾驶评价方法
US10358143B2 (en) * 2015-09-01 2019-07-23 Ford Global Technologies, Llc Aberrant driver classification and reporting
US9925987B1 (en) * 2015-12-11 2018-03-27 Lytx, Inc. Driving abnormality detection
US10275955B2 (en) * 2016-03-25 2019-04-30 Qualcomm Incorporated Methods and systems for utilizing information collected from multiple sensors to protect a vehicle from malware and attacks
US10012993B1 (en) * 2016-12-09 2018-07-03 Zendrive, Inc. Method and system for risk modeling in autonomous vehicles
US10308242B2 (en) * 2017-07-01 2019-06-04 TuSimple System and method for using human driving patterns to detect and correct abnormal driving behaviors of autonomous vehicles
JP6985203B2 (ja) * 2018-04-05 2021-12-22 トヨタ自動車株式会社 挙動予測装置
CN108710865B (zh) * 2018-05-28 2022-04-22 电子科技大学 一种基于神经网络的司机异常行为检测方法
CN109034134A (zh) * 2018-09-03 2018-12-18 深圳市尼欧科技有限公司 基于多任务深度卷积神经网络的异常驾驶行为检测方法
CN109726771B (zh) * 2019-02-27 2023-05-02 锦图计算技术(深圳)有限公司 异常驾驶检测模型建立方法、装置及存储介质
CN110334592A (zh) * 2019-05-27 2019-10-15 天津科技大学 一种司机异常行为监测和安全保障系统及其方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019049778A (ja) * 2017-09-07 2019-03-28 日本電信電話株式会社 検知装置、検知方法及び検知プログラム

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
VIDYASAGAR SADHU, ET AL.: ""Deep Multi-Task Learning for Anomalous Driving Detection Using CAN Bus Scalar Sensor Data"", ARXIV:1907.00749V1, vol. version v1, JPN6021001017, 28 June 2019 (2019-06-28), pages 1 - 8, ISSN: 0004745800 *
工藤郁弥（外３名）: "「畳み込みオートエンコーダを用いた工業製品の不良検査」", 電子情報通信学会技術研究報告, vol. 118, no. 492, JPN6021001018, 4 March 2019 (2019-03-04), JP, pages 31 - 36, ISSN: 0004745801 *
森本哲郎（外４名）: "「運転者の疲労度への自動車運転状態の影響を発見するための時系列データの分析」", DEIM FORUM 2016論文集, vol. 論文番号: H8-1, JPN6021001016, 31 March 2016 (2016-03-31), pages 1 - 5, ISSN: 0004745799 *

Also Published As

Publication number Publication date
US11529960B2 (en) 2022-12-20
US20210094553A1 (en) 2021-04-01
JP7212607B2 (ja) 2023-01-25

Similar Documents

Publication Publication Date Title
JP2021056983A (ja) 車両ｃａｎ ｂｕｓ信号を利用した機械学習基盤運転者異常感知方法および装置
EP3755597B1 (en) Method for distress and road rage detection
JP4825132B2 (ja) 車両の運転者による不注意を識別する方法及びコンピュータプログラム
US7912796B2 (en) System and method for real-time recognition of driving patterns
US20190370580A1 (en) Driver monitoring apparatus, driver monitoring method, learning apparatus, and learning method
US7394393B2 (en) Adaptive driver workload estimator
JP2009262702A (ja) 安全運転支援システム
King et al. Early driver fatigue detection from electroencephalography signals using artificial neural networks
CN107848478A (zh) 低速碰撞的自动识别和评估
García et al. Vision-based drowsiness detector for a realistic driving simulator
KR101276770B1 (ko) 사용자 적응형 특이행동 검출기반의 안전운전보조시스템
US20090177602A1 (en) Systems and methods for detecting unsafe conditions
Ma et al. Real-time detection of abnormal driving behavior based on long short-term memory network and regression residuals
US9111400B2 (en) System for detecting abnormal driving behavior
WO2008127465A1 (en) Real-time driving danger level prediction
JP2009073465A (ja) 安全運転支援システム
JP5005492B2 (ja) 安全運転支援システム
CN109964184A (zh) 通过比较过渡预测的自主车辆控制
CN117975665A (zh) 一种dms驾驶员疲劳等级识别系统
Devi et al. Logistic Multilayer Perceptron Neural Network Classification based Driving Behavior Prediction through Vehicle Motion Data
Kouchak et al. Non-intrusive distraction pattern detection using behavior triangulation method
Butakov et al. Driver/vehicle response diagnostic system for the vehicle-following case
Adarsh et al. Drowsiness Detection System in Real Time Based on Behavioral Characteristics of Driver using Machine Learning Approach
Ansari et al. Factors influencing driver behavior and advances in monitoring methods
Butakov et al. Driver/vehicle response diagnostic system for vehicle following based on gaussian mixture model

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191118

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210119

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210414

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20210831

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211224

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20211224

C11 Written invitation by the commissioner to file amendments

Free format text: JAPANESE INTERMEDIATE CODE: C11

Effective date: 20220118

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20220222

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20220301

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20220408

C211 Notice of termination of reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C211

Effective date: 20220412

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20220517

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20220705

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20221011

C302 Record of communication

Free format text: JAPANESE INTERMEDIATE CODE: C302

Effective date: 20221027

C13 Notice of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: C13

Effective date: 20221101

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221107

C23 Notice of termination of proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C23

Effective date: 20221115

C03 Trial/appeal decision taken

Free format text: JAPANESE INTERMEDIATE CODE: C03

Effective date: 20221220

C30A Notification sent

Free format text: JAPANESE INTERMEDIATE CODE: C3012

Effective date: 20221220

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230113

R150 Certificate of patent or registration of utility model

Ref document number: 7212607

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350