JP2020042785A - 無人車内の乗客状態の識別方法、装置、機器及び記憶媒体 - Google Patents

無人車内の乗客状態の識別方法、装置、機器及び記憶媒体 Download PDF

Info

Publication number
JP2020042785A
JP2020042785A JP2019130227A JP2019130227A JP2020042785A JP 2020042785 A JP2020042785 A JP 2020042785A JP 2019130227 A JP2019130227 A JP 2019130227A JP 2019130227 A JP2019130227 A JP 2019130227A JP 2020042785 A JP2020042785 A JP 2020042785A
Authority
JP
Japan
Prior art keywords
passenger
data
unmanned vehicle
state
dimension
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019130227A
Other languages
English (en)
Other versions
JP7256086B2 (ja
Inventor
ユーハン チェン、
Youhan Chen
ユーハン チェン、
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Baidu Online Network Technology Beijing Co Ltd
Original Assignee
Baidu Online Network Technology Beijing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Baidu Online Network Technology Beijing Co Ltd filed Critical Baidu Online Network Technology Beijing Co Ltd
Publication of JP2020042785A publication Critical patent/JP2020042785A/ja
Priority to JP2021189288A priority Critical patent/JP2022033805A/ja
Application granted granted Critical
Publication of JP7256086B2 publication Critical patent/JP7256086B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/70—Multimodal biometrics, e.g. combining information from different biometric modalities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0062—Arrangements for scanning
    • A61B5/0064—Body surface scanning
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/0205—Simultaneously evaluating both cardiovascular conditions and different types of body conditions, e.g. heart and respiratory condition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1118—Determining activity level
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A61B5/1128—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6887—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient mounted on external non-worn devices, e.g. non-medical devices
    • A61B5/6893—Cars
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/746—Alarms related to a physiological condition, e.g. details of setting alarm thresholds or avoiding false alarms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
    • G06F18/256—Fusion techniques of classification results, e.g. of results related to same input data of results relating to different input data, e.g. multimodal recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/809—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data
    • G06V10/811—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data the classifiers operating on different input data, e.g. multi-modal recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00—Registering or indicating the working of vehicles
    • G07C5/08—Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
    • G07C5/0841—Registering performance data
    • G07C5/085—Registering performance data using electronic data carriers
    • G07C5/0866—Registering performance data using electronic data carriers the electronic data carrier being a digital video recorder in combination with video camera
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Pathology (AREA)
  • Surgery (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Biophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physiology (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Signal Processing (AREA)
  • Cardiology (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Acoustics & Sound (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Pulmonology (AREA)
  • Dentistry (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)

Abstract

【課題】無人車内の乗客状態の識別方法、装置、機器及び記憶媒体を提供する。【解決手段】無人車内の乗客状態の識別方法は、乗客が無人車を利用する間の異なる次元の監視データを取得することと、異なる次元の監視データに対し特徴抽出を行うことにより、異なる次元の特徴データを生成することと、異なる次元の特徴データに基づき乗客状態に対して識別を行うこととを含む。乗客が無人車を利用する間の様々な次元の監視データを取得して乗客の状態を識別することにより、乗客の人身安全及び財産安全に対して全方位の監視を行うことができ、無人車を利用する乗客の安全を効果的に確保することができる。【選択図】図１

Description

本願の実施例は、無人運転技術分野に関し、より詳しくは、無人車内の乗客状態の識別方法、装置、機器及び記憶媒体に関する。
インターネットと経済の発展に伴い、人々の移動のニーズを満たすための無人運転技術も、飛躍的な発展を遂げている。無人運転車はスマートカーの一種であり、車輪移動ロボットとも称され、主には、車内に設けられたコンピュータシステムを中心とするスマートパイロットにより無人運転の目的を達成するものである。
無人車内には運転者がいないので、乗客が無人車を利用して移動する場合、乗客の状態を全方位に監視して、乗客の人身安全及び財産安全を確保することは極めて重要である。
従来技術において、主に、乗客が携帯している装置、例えば、スマートブレスレットにより、乗客の身体を監視し、乗客の人身安全が危険にさらされる時、スマートブレスレット又は携帯電話により報告を行っている。しかしながら、このような方式では乗客の人身安全及び財産安全に対して全方位の監視を行うことができないため、無人車を利用する乗客の安全を効果的に確保することはできない。
本願の実施例は、無人車内の乗客状態の識別方法、装置、機器及び記憶媒体を提供する。従来技術による乗客状態の識別方法は、乗客の人身安全及び財産安全に対して全方位の監視ができず、無人車を利用する乗客の安全を効果的に確保することはできないという技術的課題を解決する。
本願の実施例の第１の態様として、無人車内の乗客状態の識別方法を提供し、当該方法は、乗客が無人車を利用する間の異なる次元の監視データを取得することと、前記異なる次元の監視データに対し特徴抽出を行うことにより、異なる次元の特徴データを生成することと、前記異なる次元の特徴データに基づき前記乗客状態に対して識別を行うこととを含む。
本願の実施例の第２の態様として、無人車内の乗客状態の識別装置を提供し、当該装置は、乗客が無人車を利用する間の異なる次元の監視データを取得するために用いられるデータ取得モジュールと、前記異なる次元の監視データに対し特徴抽出を行うことにより、異なる次元の特徴データを生成するために用いられる特徴抽出モジュールと、前記異なる次元の特徴データに基づき前記乗客状態に対して識別を行うために用いられる状態識別モジュールとを含む。
本願の実施例の第３の態様として、端末機器を提供し、当該機器は、１つ以上のプロセッサと、１つ以上のプログラムを記憶するために用いられる記憶装置と、異なる次元の監視データを収集するために用いられるデータ収集装置とを含み、前記１つ以上のプログラムが前記１つ以上のプロセッサにより実行されることで、前記１つ以上のプロセッサは上記第１の態様に記載の方法を実現する。
本願の実施例の第４の態様として、コンピュータ読み取り可能な記憶媒体を提供し、当該媒体には、プロセッサにより実行されて、上記第１の態様に記載の方法を実現するためのコンピュータプログラムが記憶される。
上述した各態様によれば、本願の実施例は、乗客が無人車を利用する間の異なる次元の監視データを取得し、次に、異なる次元の監視データに対し特徴抽出を行うことにより、異なる次元の特徴データを生成し、そして、異なる次元の特徴データに基づき乗客状態に対して識別を行うように構成される。乗客が無人車を利用する間の様々な次元の監視データを取得して乗客の状態を識別することにより、乗客の人身安全及び財産安全に対して全方位の監視を行い、無人車を利用する乗客の安全を効果的に確保することができる。
なお、上記発明の概要の部分に記載されている内容は、本願の実施例の肝要な特徴又は重要な特徴を限定するものでもなければ、本願の範囲を限定するためのものでもない。本願のその他の特徴は、以下の説明により分かりやすくなるであろう。
本願の実施例１に係る無人車内の乗客状態の識別方法のフローチャートである。 本願の実施例２に係る無人車内の乗客状態の識別方法のフローチャートである。 本願の実施例３に係る無人車内の乗客状態の識別方法のフローチャートである。 本願の実施例４に係る無人車内の乗客状態の識別装置の構造模式図である。 本願の実施例５に係る無人車内の乗客状態の識別装置の構造模式図である。 本願の実施例６に係る端末機器の構造模式図である。
以下、関連する各図を参照しながら、本願の実施例を詳細に説明する。関連する各図では本願のいくつかの実施例を示しているが、本願は様々な形態により実現することができ、ここに記載されている実施例に限られるように解釈されるべきはなく、むしろこれらの実施例を挙げるのは本願をより明瞭で且つ完全に理解するためであり、なお理解すべきなのは、本願に関連する各図及び実施例は、例示的に挙げられるものに過ぎず、本願の保護範囲を限定するためのものではない。
本願の実施例において、明細書及び特許請求の範囲及び上述した各図に用いられる「第１」、「第２」、「第３」、「第４」等（該当記載がある場合）の用語は、特定の順序又は前後関係を示すために用いられるものではなく、類似する対象を区別するためのものである。なお、このような文脈の中で使用される数字は、ここに記載されている本願の実施例は図示又は記載されている内容とは異なる順序で実施してもよいことを表すために、場合によってはこれらの数字を互いに入れ替えることもできる。また、「含む」、「有する」及びこれらに準ずるその他の用語は、非排他的に含む場合も含むという意味で使用される。例えば、一連のステップ又はユニットを含むプロセス、方法、システム、製品又は機器は、明記されているステップ又はユニットに限られるわけではなく、明記されていない又はこれらのプロセス、方法、製品又は機器に固有のその他のステップ又はユニットを含んでもよい。
本願に係る各発明を分かりやすく説明するために、以下、本願に関連する専門用語について解釈する。
無人運転車：無人運転車は、車載センサシステムにより道路環境を検知し、走行ルートを自動的に計画するとともに、車両が所定の場所にたどり着くよう制御するスマートカーである。それは、車載センサを利用して車両の周囲環境を検知するとともに、検知した道路、車両位置及び障害物情報に基づき、車両の走行方向及び速度を制御することにより、車両は道路において安全で且つ確実に走行するようにする。自動制御、システム構成、人工知能、ビジュアルコンピューティング等様々な技術を統合しており、コンピュータ技術、パターン識別及びスマート制御技術の高度に発展した産物であり、国の科学研究の実力と産業レベルを評価する上で重要な指標でもあり、国防と国民経済の分野において幅広く利用される見込みがある。本願の実施例において、無人運転車は無人車と略称される。
以下、関連する各図を参照しながら、本願の実施例を具体的に説明する。
「実施例１」
図１は、本願の実施例１に係る無人車内の乗客状態の識別方法のフローチャートであり、図１に示すとおり、本願の実施例の実行主体は無人車内の乗客状態の識別装置であり、当該無人車内の乗客状態の識別装置は、端末機器の中に集積されてもよい。端末機器は無人車内の車載端末機器であり、本実施例に係る無人車内の乗客状態の識別方法は、以下のステップ１０１〜ステップ１０３を含む。
ステップ１０１において、乗客が無人車を利用する間の異なる次元の監視データを取得する。
具体的には、本実施例において、無人車内の乗客状態の識別装置と無人車内の各種のセンサとの通信を行い、乗客が無人車を利用する間の異なる次元の監視データを取得してもよければ、無人車内の各種センサにより、乗客が無人車を利用する間の対応する次元の監視データを直接収集してもよい。
ただし、無人車内の各種的センサは、内部カメラ、マイクロフォン、バイタルサインセンサ、衝突センサ等を含んでもよい。対応するように、異なる次元の監視データは、表情監視データ、身体動作監視データ、音声監視データ、バイタルサイン監視データ、車体又は座席に衝突する衝突データ等を含んでもよい。
ステップ１０２において、異なる次元の監視データに対し特徴抽出を行うことにより、異なる次元の特徴データを生成する。
さらに、本実施例において、それぞれの次元の監視データに対し、対応する特徴抽出アルゴリズムを用いて特徴抽出を行うことにより、それぞれの次元の特徴データを生成してもよい。
異なる次元の監視データに対し特徴抽出を行うことにより、異なる次元の特徴データを生成することについて例示的に説明する。表情監視データに対し、表情特徴抽出アルゴリズムを用いて特徴抽出を行い、表情特徴抽出アルゴリズムは主成分分析（ＰＣＡ）による特徴抽出アルゴリズム、独立成分分析（ＩＣＡ）による特徴抽出アルゴリズム等であってもよい。音声監視データに対し、音声特徴抽出アルゴリズムを用いて特徴抽出を行い、音声特徴抽出アルゴリズムはメルフィルタバンク（ｍｅｌｆｉｌｔｅｒｂａｎｋ）による特徴抽出アルゴリズム、メル周波数ケプストラム係数（ｍｆｃｃ）による特徴抽出アルゴリズム等であってもよい。
ステップ１０３において、異なる次元の特徴データに基づき乗客状態に対して識別を行う。
具体的には、本実施例において、全ての異なる次元の特徴データを統合識別アルゴリズムに入力して、乗客状態に対して識別を行ってもよければ、それぞれの次元の特徴データを対応する識別アルゴリズムに入力して、それぞれの次元の特徴データに対応する乗客状態の確率データを出力し、次に、予め設定されたそれぞれの次元の乗客状態の確率データの重みに基づきそれぞれの次元の乗客状態の確率データに対し加重加算演算を行って、乗客状態の総確率データを取得し、乗客状態の総確率データ及び予め設定された閾値に基づき乗客の最終状態を確定してもよい。
なお、本実施例において、異なる次元の特徴データに基づき乗客状態に対して識別を行う方法はその他の方法であってもよく、本実施例では、これについて限定しない。
ただし、識別された乗客状態は危険状態又は安全状態であってもよい。
本実施例に係る無人車内の乗客状態の識別方法は、乗客が無人車を利用する間の異なる次元の監視データを取得し、次に、異なる次元の監視データに対し特徴抽出を行うことにより、異なる次元の特徴データを生成し、そして、異なる次元の特徴データに基づき乗客状態に対して識別を行うように構成される。乗客が無人車を利用する間の様々な次元の監視データを取得して乗客の状態を識別することにより、乗客の人身安全及び財産安全に対して全方位の監視を行い、無人車を利用する乗客の安全を効果的に確保することができる。
「実施例２」
図２は、本願の実施例２に係る無人車内の乗客状態の識別方法のフローチャートであり、図２に示すとおり、本実施例に係る無人車内の乗客状態の識別方法は、本願の実施例１に係る無人車内の乗客状態の識別方法をベースにして、ステップ１０１〜ステップ１０３をより細かくするものであり、本実施例に係る無人車内の乗客状態の識別方法は、以下のステップ２０１〜ステップ２０８を含む。
ステップ２０１において、無人車内に設けられた各種センサを用いて乗客が無人車を利用する間の対応する次元の監視データをリアルタイムに収集する。
さらに、本実施例において、前記センサは、少なくとも内部カメラ、マイクロフォン、バイタルサインセンサ、衝突センサを含む。
ただし、内部カメラは、乗客が座るエリアに設けられ、乗客の映像又は画像を収集する。マイクロフォンも乗客が座るエリアに設けることができ、乗客の音声又はその他の音を収集する。バイタルサインセンサはシートベルトに設けられてもよく、その場合、乗客が無人車を利用する間、前記シートベルトを着用することにより、又は乗客バイタルサインセンサ付きの機器を着用することにより、乗客のバイタルサインを監視する。衝突センサは車体の内側又は乗客座席の背後に設けられ、乗客が車体の内側又は座席の背後に衝突する時、衝突データを収集する。
好ましくは、本実施例において、無人車内に設けられた各種センサを用いて乗客が無人車を利用する間の対応する次元の監視データをリアルタイムに収集することは、具体的に、以下を含む。
まず、内部カメラを用いて乗客が無人車を利用する間の表情監視データ及び身体動作監視データを収集する。
さらに、本実施例において、内部カメラは１つ以上であってもよく、内部カメラが複数である場合、内部カメラのそれぞれを乗客が座るエリアに異なる方向に設ける。そのうちの１つ以上の内部カメラを用いて乗客の顔の映像及び画像を収集し、乗客の顔の映像及び画像から乗客の表情監視データを取得する。且つ、その他の１つ以上の内部カメラを用いて乗客の全身の映像及び画像を収集し、全身の映像及び画像から身体動作監視データを取得する。
次に、マイクロフォンを用いて乗客が無人車を利用する間の音声監視データを収集する。
さらに、本実施例において、マイクロフォンは１つ以上であってもよく、マイクロフォンが複数である場合、乗客が座るエリアの異なる方向に設けて、マイクロフォンにより乗客の音声及び無人車内のその他の音を収集して、音声監視データを生成する。
そして、バイタルサインセンサを用いて乗客が無人車を利用する間のバイタルサイン監視データを収集する。
さらに、本実施例において、バイタルサインセンサで収集する乗客が無人車を利用する間のバイタルサイン監視データは、体温データ、心拍数データ、血圧データ等を含んでもよい。
最後に、衝突センサを用いて乗客が無人車を利用する間に車体又は座席に衝突する時の衝突データを収集する。
さらに、本実施例において、車体の内側及び座席の背後にはいずれも衝突センサが装着され、乗客が車体の内側又は座席の背後に衝突する時、衝突センサは衝突データを収集する。
理解できるように、それぞれのセンサは、乗客が乗車してから下車するまでの間に対応する次元の監視データをリアルタイムに収集することができる。
説明する必要があるのは、本実施例において、ステップ２０１は、本願の実施例１に係る無人車内の乗客状態の識別方法のステップ１０１をより細かくしている。
ステップ２０２において、それぞれの次元の監視データに対し対応する特徴抽出アルゴリズムを用いて特徴抽出を行うことにより、対応する次元の特徴データを生成する。
本実施例において、それぞれの次元の監視データには、いずれも対応する特徴抽出アルゴリズムがある。例えば、表情監視データの場合、対応する特徴抽出アルゴリズムは主成分分析（ＰＣＡ）による特徴抽出アルゴリズム、独立成分分析（ＩＣＡ）による特徴抽出アルゴリズム等であってもよい。音声監視データの場合、対応する特徴抽出アルゴリズムはメルフィルタバンク（ｍｅｌｆｉｌｔｅｒｂａｎｋ）による特徴抽出アルゴリズム、メル周波数ケプストラム係数（ｍｆｃｃ）による特徴抽出アルゴリズム等であってもよい。
さらに、本実施例において、表情特徴抽出アルゴリズムを用いて表情監視データに対し特徴抽出を行うことより、表情特徴データを生成する。身体動作特徴抽出アルゴリズムを用いて身体動作監視データに対し特徴抽出を行うことにより、身体動作特徴データを生成する。音声特徴抽出アルゴリズムを用いて音声監視データに対し特徴抽出を行うことにより、声音特徴データを生成する。バイタルサイン特徴抽出アルゴリズムを用いてバイタルサイン監視データに対し特徴抽出を行うことにより、バイタルサイン特徴データを生成する。衝突特徴抽出アルゴリズムを用いて衝突データに対し特徴抽出を行うことにより、衝突特徴データを生成する。
ステップ２０３において、第１のトレーニングサンプル及び第１のテストサンプルを取得する。
ただし、第１のトレーニングサンプル及び第１のテストサンプルはそれぞれの乗客の同一次元の特徴データである。第１のトレーニングサンプル及び第１のテストサンプルは複数である。
さらに、本実施例において、それぞれの次元の特徴データを対応する第１の識別アルゴリズムに入力して、それぞれの次元の特徴データに対応する乗客状態の確率データを出力する前は、第１の識別アルゴリズムに対して最適化を行うことにより、最適化された第１の識別アルゴリズムを生成する必要がある。
ただし、第１の識別アルゴリズムはそれぞれの次元の特徴データに対応する乗客状態の確率データを確定するアルゴリズムである。第１の識別アルゴリズムはディープラーニングアルゴリズムであり、例えば、畳み込みニューラルネットワークモデルアルゴリズム、ディープニューラルネットワークモデルアルゴリズム等であってもよい。
本実施例において、第１のトレーニングサンプル及び第１のテストサンプルは第１の識別アルゴリズムに対応するトレーニングサンプル及びテストサンプルである。ただし、第１のトレーニングサンプル及び第１のテストサンプルは既に生成されたそれぞれの乗客の同一次元の特徴データであってもよい。例えば、表情特徴データに基づき乗客状態の確率を識別する識別アルゴリズムの場合、そのトレーニングサンプル及びテストサンプルは既に生成されたそれぞれの乗客の表情特徴データである。また、音声特徴データに基づき乗客状態の確率を識別する識別アルゴリズムの場合、そのトレーニングサンプル及びテストサンプルは既に生成されたそれぞれの乗客の音声特徴データである。
ステップ２０４において、第１のトレーニングサンプルを用いて第１の識別アルゴリズムに対してトレーニングを行うとともに、第１の識別アルゴリズムが収束するまで、第１のテストサンプルを用いて第１の識別アルゴリズムに対してテストを行う。
さらに、本実施例において、それぞれの第１のトレーニングサンプルを第１の識別アルゴリズムに入力して、第１の識別アルゴリズムのモデルに対してトレーニングを行い、パラメータに対して最適化を行うとともに、それぞれの第１のテストサンプルを最適化された第１の識別アルゴリズムに入力して、第１の識別アルゴリズムのモデルは最適であるか否かを判断し、最適でない場合、第１の識別アルゴリズムのモデルが収束して最適になるまで、引き続き第１の識別アルゴリズムのモデルに対してトレーニングを行う。
理解できるように、第１の識別アルゴリズムが最適化された識別アルゴリズムになると、乗客の状態識別を行うたびにステップ２０３〜ステップ２０４を実行する必要はない。
ステップ２０５において、それぞれの次元の特徴データを対応する第１の識別アルゴリズムに入力して、それぞれの次元の特徴データに対応する乗客状態の確率データを出力する。
本実施例において、それぞれの次元の特徴データを対応する第１の識別アルゴリズムに入力し、ただし当該第１の識別アルゴリズムはトレーニング−テストのプロセスを経て最適化された第１の識別アルゴリズムであり、第１の識別アルゴリズムは対応する次元の特徴データに基づき乗客状態に対して識別を行い、対応する乗客状態の確率データを出力する。
ただし、乗客状態の確率データは乗客が危険状態にある確率データ又は乗客が安全状態にある確率データであり、本実施例では、これについて限定しない。
ステップ２０６において、それぞれの次元の乗客状態の確率データに対応する重み値を取得する。
さらに、本実施例において、それぞれの次元の乗客状態の確率データに対応する重み値を予め定義し記憶し、記憶エリアから、それぞれの次元の乗客状態の確率データに対応する重み値を取得する。
ステップ２０７において、それぞれの次元の乗客状態の確率データに対し加重加算演算を行って、乗客状態の総確率データを取得する。
さらに、本実施例において、それぞれの次元の乗客状態の確率データと対応する重み値との乗算演算を行うとともに、乗算して得られた結果の総和演算を行って、取得された結果はすなわち乗客状態の総確率データである。それぞれの次元の乗客状態の確率データが、乗客が危険状態にある確率データである場合、乗客状態の総確率データは乗客が危険状態にある総確率データである。それぞれの次元の乗客状態の確率データが、乗客が安全状態にある確率データである場合、乗客状態の総確率データは乗客が安全状態にある総確率データである。
ステップ２０８において、乗客状態の総確率データ及び予め設定された閾値に基づき乗客状態を確定する。
さらに、本実施例において、乗客が危険状態にある総確率に対応する危険確率閾値、及び乗客が安全状態にある総確率に対応する安全確率閾値を予め定義している。
ただし、危険確率閾値及び安全確率閾値の具体的な値は、本実施例において限定されない。
乗客が危険状態にある総確率データに対応する値が予め設定された危険確率閾値より大きい場合、乗客状態を危険状態に確定し、乗客が危険状態にある総確率データに対応する値が予め設定された危険確率閾値以下である場合、乗客状態を安全状態に確定する。又は、乗客が安全状態にある総確率データに対応する値が予め設定された安全確率閾値より大きい場合、乗客状態を安全状態に確定し、乗客が安全状態にある総確率データに対応する値が予め設定された安全確率閾値以下である場合、乗客状態を危険状態に確定する。
本実施例に係る無人車内の乗客状態の識別方法は、無人車内に設けられた各種センサを用いて乗客が無人車を利用する間の対応する次元の監視データをリアルタイムに収集し、次に、それぞれの次元の監視データに対し対応する特徴抽出アルゴリズムを用いて特徴抽出を行うことにより、対応する次元の特徴データを生成し、そして、それぞれの次元の特徴データを対応する第１の識別アルゴリズムに入力して、それぞれの次元の特徴データに対応する乗客状態の確率データを出力し、さらに、それぞれの次元の乗客状態の確率データに対応する重み値を取得し、そして、それぞれの次元の乗客状態の確率データに対し加重加算演算を行って、乗客状態の総確率データを取得し、最後に、乗客状態の総確率データ及び予め設定された閾値に基づき乗客状態を確定するように構成される。乗客の人身安全及び財産安全に対して全方位の監視を行うことができるだけでなく、最適化されたディープラーニングアルゴリズムを用いて乗客の状態に対して識別を行うことにより、乗客状態の識別の正確性を効果的に向上させることもできる。
「実施例３」
図３は、本願の実施例３に係る無人車内の乗客状態の識別方法のフローチャートであり、図３に示すとおり、本実施例に係る無人車内の乗客状態の識別方法は、本願の実施例１に係る無人車内の乗客状態の識別方法をベースにして、ステップ１０１〜ステップ１０３をより細かくするものであり、本実施例に係る無人車内の乗客状態の識別方法は、以下のステップ３０１〜ステップ３０６を含む。
ステップ３０１において、無人車内に設けられた各種センサを用いて乗客が無人車を利用する間の対応する次元の監視データをリアルタイムに収集する。
ステップ３０２において、それぞれの次元の監視データに対し、対応する特徴抽出アルゴリズムを用いて特徴抽出を行うことにより、対応する次元の特徴データを生成する。
本実施例において、ステップ３０１〜ステップ３０２の実現形態は、本願の実施例２に係る無人車内の乗客状態の識別方法におけるステップ２０１〜ステップ２０２の実現形態と同じであるため、ここにおいてその説明は省略される。
ステップ３０３において、第２のトレーニングサンプル及び第２のテストサンプルを取得する。
ただし、第２のトレーニングサンプル及び第２のテストサンプルは、それぞれの乗客の異なる次元の特徴データである。
さらに、本実施例において、異なる次元の特徴データを第２の識別アルゴリズムに入力して、第２の識別アルゴリズムにより乗客状態に対して識別を行う前は、第２の識別アルゴリズムに対して最適化を行って、最適化された第２の識別アルゴリズムを生成する必要がある。
ただし、第２の識別アルゴリズムは、全ての次元の特徴データにより乗客状態を識別するアルゴリズムである。第２の識別アルゴリズムはディープラーニングアルゴリズムであり、例えば、畳み込みニューラルネットワークモデルアルゴリズム、ディープニューラルネットワークモデルアルゴリズム等であってもよい。
本実施例において、第２のトレーニングサンプル及び第２のテストサンプルは、第２の識別アルゴリズムに対応するトレーニングサンプル及びテストサンプルである。ただし、第２のトレーニングサンプル及び第２のテストサンプルはいずれも既に生成されたそれぞれの乗客の全ての次元の特徴データである。
ステップ３０４において、第２のトレーニングサンプルを用いて第２の識別アルゴリズムに対してトレーニングを行うとともに、第２の識別アルゴリズムが収束するまで、第２のテストサンプルを用いて第２の識別アルゴリズムに対してテストを行う。
さらに、本実施例において、それぞれの第２のトレーニングサンプルを第２の識別アルゴリズムに入力して、第２の識別アルゴリズムのモデルに対してトレーニングを行い、パラメータに対して最適化を行い、そしてそれぞれの第２のテストサンプルを最適化された第２の識別アルゴリズムに入力し、第２の識別アルゴリズムのモデルは最適であるか否かを判断し、最適でない場合、第２の識別アルゴリズムのモデルが収束して最適になるまで、引き続き第２の識別アルゴリズムのモデルに対してトレーニングを行う。
理解できるように、第２の識別アルゴリズムが最適化された識別アルゴリズムになると、乗客状態の識別を行うたびにステップ３０３〜ステップ３０４を実行する必要はない。
ステップ３０５において、異なる次元の特徴データを第２の識別アルゴリズムに入力して、第２の識別アルゴリズムにより乗客状態に対して識別を行う。
ステップ３０６において、乗客状態を出力する。
さらに、本実施例において、監視して得た乗客の全ての次元の特徴データを第２の識別アルゴリズムに入力して、第２の識別アルゴリズムは全ての次元の特徴データに基づき乗客状態に対して識別を行い、乗客状態を出力する。なお、全ての次元の特徴データに基づき乗客が危険状態にあることを識別した場合、乗客は危険状態にある旨出力し、全ての次元の特徴データに基づき乗客が安全状態にあることを識別した場合、乗客は安全状態にある旨出力する。
理解できるように、無人車には、乗客の個人情報及び家族の連絡先が予め記憶されているため、乗客状態が危険状態である場合、通信モジュールにより、乗客の個人情報及び家族の連絡先とともに、乗客が危険状態にある旨サーバに報告することにより、サーバは乗客の個人情報及び家族の連絡先を通じて乗客の家族に知らせるようにする。又は無人車にＧＰＳモジュールを装着し、ＧＰＳモジュールにより無人車の位置を確定してもよく、そして、無人車の位置をサーバに送信することにより、サーバは乗客が乗っている無人車の位置を取得し、即時乗客の救助を行うようにする。
本実施例に係る無人車内の乗客状態の識別方法は、無人車内に設けられた各種センサを用いて乗客が無人車を利用する間の対応する次元の監視データをリアルタイムに収集し、次に、それぞれの次元の監視データに対し対応する特徴抽出アルゴリズムを用いて特徴抽出を行うことにより、対応する次元の特徴データを生成し、そして、第２のトレーニングサンプル及び第２のテストサンプルを取得し、第２のトレーニングサンプルを用いて第２の識別アルゴリズムに対してトレーニングを行い、さらに、第２の識別アルゴリズムが収束するまで、第２のテストサンプルを用いて第２の識別アルゴリズムに対してテストを行い、そして、異なる次元の特徴データを第２の識別アルゴリズムに入力して、第２の識別アルゴリズムにより乗客状態に対して識別を行い、最後に、乗客状態を出力するように構成される。乗客の人身安全及び財産安全に対して全方位の監視を行うことができるだけでなく、最適化されたディープラーニングアルゴリズムを用いて乗客の状態に対して識別を行うことにより、乗客状態の識別の正確性を効果的に向上させることもできる。
「実施例４」
図４は、本願の実施例４に係る無人車内の乗客状態の識別装置の構造模式図であり、図４に示すとおり、本実施例に係る無人車内の乗客状態の識別装置４０は、データ取得モジュール４１と、特徴抽出モジュール４２と、状態識別モジュール４３とを含む。
ただし、データ取得モジュール４１は、乗客が無人車を利用する間の異なる次元の監視データを取得するために用いられる。特徴抽出モジュール４２は、異なる次元の監視データに対し特徴抽出を行うことにより、異なる次元の特徴データを生成するために用いられる。状態識別モジュール４３は、異なる次元の特徴データに基づき乗客状態に対して識別を行うために用いられる。
本実施例に係る無人車内の乗客状態の識別装置は、図１に示される方法の実施例に係る発明を実行することができ、その実現原理及び技術的効果は類似するため、ここにおいてその説明は省略される。
「実施例５」
図５は、本願の実施例５に係る無人車内の乗客状態の識別装置の構造模式図であり、図５に示すとおり、本実施例に係る無人車内の乗客状態の識別装置５０は、本願の実施例４に係る無人車内の乗客状態の識別装置をベースにして、第１のサンプル取得モジュール５１と、第１の最適化モジュール５２と、第２のサンプル取得モジュール５３と、第２の最適化モジュール５４とをさらに含む。
さらに、データ取得モジュール４１は、具体的に、無人車内に設けられた各種センサを用いて乗客が無人車を利用する間の対応する次元の監視データをリアルタイムに収集するために用いられる。
さらに、前記センサは、少なくとも内部カメラ、マイクロフォン、バイタルサインセンサ、衝突センサを含む。
さらに、データ取得モジュール４１は、具体的に、内部カメラを用いて乗客が無人車を利用する間の表情監視データ及び身体動作監視データを収集し、マイクロフォンを用いて乗客が無人車を利用する間の音声監視データを収集し、バイタルサインセンサを用いて乗客が無人車を利用する間のバイタルサイン監視データを収集し、衝突センサを用いて乗客が無人車を利用する間に車体又は座席に衝突する時の衝突データを収集するために用いられる。
さらに、特徴抽出モジュール４２は、具体的に、それぞれの次元の監視データに対し対応する特徴抽出アルゴリズムを用いて特徴抽出を行うことにより、対応する次元の特徴データを生成するために用いられる。
任意選択可能に、状態識別モジュール４３は、具体的に、それぞれの次元の特徴データを対応する第１の識別アルゴリズムに入力して、それぞれの次元の特徴データに対応する乗客状態の確率データを出力し、次に、それぞれの次元の乗客状態の確率データに対応する重み値を取得し、そして、それぞれの次元の乗客状態の確率データに対し加算演算を行って、乗客状態の総確率データを取得し、最後に、乗客状態の総確率データ及び予め設定された閾値に基づき乗客状態を確定するために用いられる。
任意選択可能に、状態識別モジュール４３は、具体的に、異なる次元の特徴データを第２の識別アルゴリズムに入力して、第２の識別アルゴリズムにより乗客状態に対して識別を行い、次に、乗客状態を出力するために用いられる。
任意選択可能に、第１の識別アルゴリズムはディープラーニングアルゴリズムである。第１のサンプル取得モジュール５１は、第１のトレーニングサンプル及び第１のテストサンプルを取得するために用いられ、ただし、第１のトレーニングサンプル及び第１のテストサンプルはそれぞれの乗客の同一次元の特徴データである。第１の最適化モジュール５２は、第１のトレーニングサンプルを用いて第１の識別アルゴリズムに対してトレーニングを行うとともに、第１の識別アルゴリズムが収束するまで、第１のテストサンプルを用いて第１の識別アルゴリズムに対してテストを行うために用いられる。
任意選択可能に、第２の識別アルゴリズムはディープラーニングアルゴリズムである。第２のサンプル取得モジュール５３は、第２のトレーニングサンプル及び第２のテストサンプルを取得するために用いられ、ただし、第２のトレーニングサンプル及び第２のテストサンプルはそれぞれの乗客の異なる次元の特徴データである。第２の最適化モジュール５４は、第２のトレーニングサンプルを用いて第２の識別アルゴリズムに対してトレーニングを行うとともに、第２の識別アルゴリズムが収束するまで、第２のテストサンプルを用いて第２の識別アルゴリズムに対してテストを行うために用いられる。
本実施例に係る無人車内の乗客状態の識別装置は、図２又は図３に示される方法の実施例に係る各発明を実行することができ、その実現原理及び技術的効果は類似するため、ここにおいてその説明は省略される。
「実施例６」
図６は、本願の実施例６に係る端末機器の構造模式図であり、図６に示すとおり、本実施例に係る端末機器６０は、１つ以上のプロセッサ６１と、記憶装置６２と、データ収集装置６３とを含む。
ただし、記憶装置６２は、１つ以上のプログラムを記憶するために用いられる。データ収集装置６３は、異なる次元の監視データを収集するために用いられる。１つ以上のプログラムが１つ以上のプロセッサにより実行されることで、１つ以上のプロセッサは本願の実施例１に係る無人車内の乗客状態の識別方法又は本願の実施例２に係る無人車内の乗客状態の識別方法又は本願の実施例３に係る無人車内の乗客状態の識別方法を実現する。
関連する説明は、図１ないし図３におけるステップに対応する関連説明及び効果を参照して理解できるため、ここにおいてその説明は省略される。
「実施例７」
本願の実施例７は、コンピュータ読み取り可能な記憶媒体を提供し、当該記憶媒体には、プロセッサにより実行されて、本願の実施例１に係る無人車内の乗客状態の識別方法又は本願の実施例２に係る無人車内の乗客状態の識別方法又は本願の実施例３に係る無人車内の乗客状態の識別方法を実現するためのコンピュータプログラムが記憶される。
なお、本願に係るいくつかの実施例により開示されている装置及び方法は、その他の形態により実現することもできる。例えば、上記装置の実施例は例示的なものに過ぎず、例えば、モジュールの設定は、論理機能上の設定に過ぎず、実際に実現させる際、その他の方式で設定してもよい。例えば、複数のモジュール又はコンポーネントは、互いに組み合わせるか、もう１つのシステムに集積されるか、又はその一部の特徴を無視したり実行しなかったりしてもよい。また、記載又は説明されている要素間の接続、又は直接的な接続若しくは通信的接続は、いくつかのインタフェース、装置又はモジュールによる間接的な接続又は通信的接続であってもよく、電気的形式、機械的形式又はその他の形式であってもよい。
分離している部品として説明されるモジュールは、物理的に分離するものでもよければ、分離していないものでもよく、モジュールとして表示される部品は、物理的なモジュールであってもよければそうでなくてもよく、すなわち同一の場所に配置されてもよければ、又は複数のネットワークモジュールに分散されてもよい。実際のニーズに応じて、そのうちから一部又は全てのモジュールを選択して、本実施例に係る発明の目的を達成してもよい。
また、本願の実施例のそれぞれに係る機能モジュールのそれぞれは、１つの処理モジュールに集積されてもよければ、モジュールのそれぞれは別々に物理的に存在してもよく、又は２つ以上のモジュールは１つのモジュールに集積されてもよい。上記集積されているモジュールは、ハードウェアの形態で実現されてもよければ、ハードウェア及びソフトウェアによる機能モジュールを組み合わせた形態で実現されてもよい。
本願に係る方法を実施するためのプログラムコードは、１種以上のプログラミング言語の任意の組み合わせにより書くことができる。これらのプログラムコードは汎用コンピュータ、専用コンピュータ又はその他のプログラマブルなデータ処理装置のプロセッサ若しくはコントローラに提供することにより、前記プログラムコードがプロセッサ又はコントローラにより実行される時、フローチャート及び／又はブロック図に記載の機能／操作を実施する。前記プログラムコードは全てが機器において実行されるか、一部が機器において実行されるか、独立するソフトウェアパッケージとして、一部が機器において実行されるとともにもう一部が遠隔機器において実行されるか、又はその全てが遠隔機器若しくはサーバにおいて実行されてもよい。
本願の記載において、機器読み取り可能な媒体は、具体的な形を有する媒体であってもよく、当該媒体には、コマンド実行システム、装置又は機器に使用されるか、又はコマンド実行システム、装置又は機器と組み合わせて使用されるプログラムが含まれるか又は記憶される。機器読み取り可能な媒体は、機器読み取り可能な信号媒体又は機器読み取り可能な記憶媒体であってもよい。機器読み取り可能な媒体は電子形式、磁気形式、光学形式、電磁形式、赤外形式、又は半導体システム、装置若しくは機器、又は上記装置のあらゆる適切な組み合わせを含むが、これらに限定されない。機器読み取り可能な記憶媒体の具体例として、１つ以上のバスに基づく電気的接続、ポータブルコンピュータ用ディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、リードオンリーメモリ（ＲＯＭ）、消去可能プログラマブルリードオンリーメモリ（ＥＰＲＯＭ又はフラッシュメモリ）、光ファイバー、ポータブル式コンパクトリードオンリーメモリ（ＣＤ−ＲＯＭ）、光学メモリ、磁気メモリ、又は上記装置のあらゆる適切な組み合わせが挙げられる。
また、関連する操作のそれぞれを特定の順で説明しているが、かかる操作は説明されている特定の順番により又は順に実行すべきであるか、又は所望の結果を得るには、各図に示される操作を実行する必要があるというふうに理解されるべきである。特定の環境において、マルチタスク及び並列処理が好適である場合もある。同様に、上記説明において本発明の実現に関するいくつかの具体的な詳細が含まれているが、これらは本願の範囲に対する限定として解釈されるべきではない。特定の実施例の文脈の中において記載されているいくつかの特徴は、組み合わせて一つの実施形態として実現されてもよい。なお、一つの実施形態の文脈の中において記載されている様々な特徴は、単独で又はその一部を適切に組み合わせる形態で複数の実施形態として実現されてもよい。
構造上の特徴及び／又は方法としての論理的動作に特化される文言で本発明の主旨を説明しているが、添付の特許請求の範囲において限定される主旨は、必ずしも上記の記載における特定の特徴又は動作に限られるものではないように理解されたい。なお、上述した特定の特徴又は動作は、特許請求の範囲を実現するための例示的な形態に過ぎない。

Claims (16)

  1. 無人車内の乗客状態の識別方法であって、
    乗客が無人車を利用する間の異なる次元の監視データを取得することと、
    前記異なる次元の監視データに対し特徴抽出を行うことにより、異なる次元の特徴データを生成することと、
    前記異なる次元の特徴データに基づき、前記乗客状態に対して識別を行うことと、を含むことを特徴とする無人車内の乗客状態の識別方法。
  2. 前記乗客が無人車を利用する間の異なる次元の監視データを取得することは、具体的に、
    無人車内に設けられた各種センサを用いて乗客が無人車を利用する間の対応する次元の監視データをリアルタイムに収集することを含むことを特徴とする請求項１に記載の無人車内の乗客状態の識別方法。
  3. 前記センサは、少なくとも内部カメラ、マイクロフォン、バイタルサインセンサ、衝突センサを含むことを特徴とする請求項２に記載の無人車内の乗客状態の識別方法。
  4. 前記無人車内に設けられた各種センサを用いて乗客が無人車を利用する間の対応する次元の監視データをリアルタイムに収集することは、具体的に、
    前記内部カメラを用いて乗客が無人車を利用する間の表情監視データ及び身体動作監視データを収集することと、
    前記マイクロフォンを用いて乗客が無人車を利用する間の音声監視データを収集することと、
    前記バイタルサインセンサを用いて乗客が無人車を利用する間のバイタルサイン監視データを収集することと、
    前記衝突センサを用いて乗客が無人車を利用する間に車体又は座席に衝突する時の衝突データを収集することと、を含むことを特徴とする請求項３に記載の無人車内の乗客状態の識別方法。
  5. 前記異なる次元の監視データに対し特徴抽出を行うことにより、異なる次元の特徴データを生成することは、具体的に、
    それぞれの次元の監視データに対し対応する特徴抽出アルゴリズムを用いて特徴抽出を行うことにより、対応する次元の特徴データを生成することを含むことを特徴とする請求項１に記載の無人車内の乗客状態の識別方法。
  6. 前記異なる次元の特徴データに基づき前記乗客状態に対して識別を行うことは、具体的に、
    それぞれの次元の特徴データを対応する第１の識別アルゴリズムに入力して、それぞれの次元の特徴データに対応する乗客状態の確率データを出力することと、
    それぞれの次元の乗客状態の確率データに対応する重み値を取得することと、
    前記それぞれの次元の乗客状態の確率データに対し加重加算演算を行って、乗客状態の総確率データを取得することと、
    前記乗客状態の総確率データ及び予め設定された閾値に基づき前記乗客状態を確定することと、を含むことを特徴とする請求項１に記載の無人車内の乗客状態の識別方法。
  7. 前記異なる次元の特徴データに基づき前記乗客状態に対して識別を行うことは、具体的に、
    前記異なる次元の特徴データを第２の識別アルゴリズムに入力して、前記第２の識別アルゴリズムにより前記乗客状態に対して識別を行うことと、
    前記乗客状態を出力することと、を含むことを特徴とする請求項１に記載の無人車内の乗客状態の識別方法。
  8. 無人車内の乗客状態の識別装置であって、
    乗客が無人車を利用する間の異なる次元の監視データを取得するために用いられるデータ取得モジュールと、
    前記異なる次元の監視データに対し特徴抽出を行うことにより、異なる次元の特徴データを生成するために用いられる特徴抽出モジュールと、
    前記異なる次元の特徴データに基づき前記乗客状態に対して識別を行うために用いられる状態識別モジュールとを含むことを特徴とする無人車内の乗客状態の識別装置。
  9. 前記データ取得モジュールは、具体的に、
    無人車内に設けられた各種センサを用いて乗客が無人車を利用する間の対応する次元の監視データをリアルタイムに収集するために用いられることを特徴とする請求項８に記載の無人車内の乗客状態の識別装置。
  10. 前記センサは、少なくとも内部カメラ、マイクロフォン、バイタルサインセンサ、衝突センサを含むことを特徴とする請求項９に記載の無人車内の乗客状態の識別装置。
  11. 前記データ取得モジュールは、具体的に、
    前記内部カメラを用いて乗客が無人車を利用する間の表情監視データ及び身体動作監視データを収集し、前記マイクロフォンを用いて乗客が無人車を利用する間の音声監視データを収集し、前記バイタルサインセンサを用いて乗客が無人車を利用する間のバイタルサイン監視データを収集し、前記衝突センサを用いて乗客が無人車を利用する間に車体又は座席に衝突する時の衝突データを収集するために用いられることを特徴とする請求項１０に記載の無人車内の乗客状態の識別装置。
  12. 前記特徴抽出モジュールは、具体的に、
    それぞれの次元の監視データに対し対応する特徴抽出アルゴリズムを用いて特徴抽出を行うことにより、対応する次元の特徴データを生成するために用いられることを特徴とする請求項８に記載の無人車内の乗客状態の識別装置。
  13. 前記状態識別モジュールは、具体的に、
    それぞれの次元の特徴データを対応する第１の識別アルゴリズムに入力して、それぞれの次元の特徴データに対応する乗客状態の確率データを出力し、次に、それぞれの次元の乗客状態の確率データに対応する重み値を取得し、そして、前記それぞれの次元の乗客状態の確率データに対し加重加算演算を行って、乗客状態の総確率データを取得し、最後に、前記乗客状態の総確率データ及び予め設定された閾値に基づき前記乗客状態を確定するために用いられることを特徴とする請求項８に記載の無人車内の乗客状態の識別装置。
  14. 前記状態識別モジュールは、具体的に、
    前記異なる次元の特徴データを第２の識別アルゴリズムに入力して、前記第２の識別アルゴリズムにより前記乗客状態に対して識別を行い、次に、前記乗客状態を出力するために用いられることを特徴とする請求項８に記載の無人車内の乗客状態の識別装置。
  15. 端末機器であって、
    １つ以上のプロセッサと、
    １つ以上のプログラムを記憶するために用いられる記憶装置と、
    異なる次元の監視データを収集するために用いられるデータ収集装置と、を含み、
    前記１つ以上のプログラムが前記１つ以上のプロセッサにより実行されることで、前記１つ以上のプロセッサは請求項１〜７のいずれか１項に記載の無人車内の乗客状態の識別方法を実現することを特徴とする端末機器。
  16. コンピュータ読み取り可能な記憶媒体であって、プロセッサにより実行されて、請求項１〜７のいずれか１項に記載の無人車内の乗客状態の識別方法を実現するためのコンピュータプログラムが記憶されることを特徴とするコンピュータ読み取り可能な記憶媒体。
JP2019130227A 2018-09-10 2019-07-12 無人車内の乗客状態の識別方法、装置、機器及び記憶媒体 Active JP7256086B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2021189288A JP2022033805A (ja) 2018-09-10 2021-11-22 無人車内の乗客状態の識別方法、装置、機器及び記憶媒体

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201811050981.5 2018-09-10
CN201811050981.5A CN109409207B (zh) 2018-09-10 2018-09-10 无人车内乘客状态的识别方法、装置、设备及存储介质

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2021189288A Division JP2022033805A (ja) 2018-09-10 2021-11-22 無人車内の乗客状態の識別方法、装置、機器及び記憶媒体

Publications (2)

Publication Number Publication Date
JP2020042785A true JP2020042785A (ja) 2020-03-19
JP7256086B2 JP7256086B2 (ja) 2023-04-11

Family

ID=65464687

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2019130227A Active JP7256086B2 (ja) 2018-09-10 2019-07-12 無人車内の乗客状態の識別方法、装置、機器及び記憶媒体
JP2021189288A Pending JP2022033805A (ja) 2018-09-10 2021-11-22 無人車内の乗客状態の識別方法、装置、機器及び記憶媒体

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2021189288A Pending JP2022033805A (ja) 2018-09-10 2021-11-22 無人車内の乗客状態の識別方法、装置、機器及び記憶媒体

Country Status (4)

Country Link
US (1) US11315349B2 (ja)
EP (1) EP3620963A1 (ja)
JP (2) JP7256086B2 (ja)
CN (1) CN109409207B (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110766812B (zh) * 2019-10-31 2020-11-10 广东科学技术职业学院 一种无人驾驶汽车的乘车付费方法、装置及电子设备
DE102021119271A1 (de) 2021-07-26 2023-01-26 Bayerische Motoren Werke Aktiengesellschaft Einrichtung zur ausgabe eines eine vitalfunktion eines insassen eines fahrzeugs signalisierenden signals
CN113781278A (zh) * 2021-09-10 2021-12-10 未鲲(上海)科技服务有限公司 基于特征识别的事件提示方法、装置、设备及存储介质
CN114676174B (zh) * 2022-03-24 2023-11-10 北京阿帕科蓝科技有限公司 一种堆积车辆识别方法、系统及计算机存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04305759A (ja) * 1991-04-02 1992-10-28 Mitsubishi Electric Corp ニューラルネットワークの学習評価システム
JP2010079472A (ja) * 2008-09-25 2010-04-08 Mazda Motor Corp 車両の走行制御装置
JP2015532743A (ja) * 2012-08-14 2015-11-12 ボルボ ラストバグナー アーベー ドライバの運転状態を判断する方法
JP2017024653A (ja) * 2015-07-27 2017-02-02 トヨタ自動車株式会社 乗員情報取得装置及び車両制御システム
WO2018047392A1 (ja) * 2016-09-06 2018-03-15 Cyberdyne株式会社 モビリティ及びモビリティシステム

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2940334B2 (ja) 1993-02-08 1999-08-25 トヨタ自動車株式会社 車両用衝突センサの取付け構造
WO2000054008A1 (en) * 1999-03-11 2000-09-14 Intelligent Technologies International, Inc. Methods and apparatus for preventing vehicle accidents
US7110570B1 (en) * 2000-07-21 2006-09-19 Trw Inc. Application of human facial features recognition to automobile security and convenience
EP1324274A3 (en) * 2001-12-28 2005-11-02 Matsushita Electric Industrial Co., Ltd. Vehicle information recording system
JP4305759B2 (ja) 2004-03-16 2009-07-29 エステー株式会社 保湿性手袋及びその製造方法
JP2009301457A (ja) 2008-06-17 2009-12-24 Seiko Epson Corp 救援システム、送信装置および通信装置
JP2010128920A (ja) 2008-11-28 2010-06-10 Toyota Motor Corp 車両用安全装置
US9317983B2 (en) * 2012-03-14 2016-04-19 Autoconnect Holdings Llc Automatic communication of damage and health in detected vehicle incidents
DE102012014717A1 (de) * 2012-07-25 2014-01-30 Audi Ag Verfahren und Fahrerassistenzsystem zum Betreiben eines Fahrzeugs bei einer gesundheitlichen Störung eines Fahrers
US20150379362A1 (en) * 2013-02-21 2015-12-31 Iee International Electronics & Engineering S.A. Imaging device based occupant monitoring system supporting multiple functions
US9751534B2 (en) * 2013-03-15 2017-09-05 Honda Motor Co., Ltd. System and method for responding to driver state
US9714037B2 (en) * 2014-08-18 2017-07-25 Trimble Navigation Limited Detection of driver behaviors using in-vehicle systems and methods
CN104331953B (zh) * 2014-10-29 2016-09-07 云南大学 一种基于物联网技术的汽车行为数据识别与管理方法
JP6523664B2 (ja) 2014-11-28 2019-06-05 富士電機株式会社 見守りシステムおよび広域見守りシステム
US20160379466A1 (en) * 2015-06-26 2016-12-29 Continental Automotive Systems, Inc. System For Warning A Driver That A Passenger Is Left In A Vehicle
CN105608884A (zh) * 2015-10-30 2016-05-25 东莞酷派软件技术有限公司 车载备案装置和乘客信息备案方法
CN107212861A (zh) * 2016-03-21 2017-09-29 罗伯特·博世有限公司 应用于车辆的生理特征检测系统及方法
US10460183B2 (en) * 2016-06-13 2019-10-29 Xevo Inc. Method and system for providing behavior of vehicle operator using virtuous cycle
CN107703931B (zh) * 2016-08-09 2019-04-05 北京百度网讯科技有限公司 用于控制无人驾驶车辆的方法和装置
US10759424B2 (en) * 2016-08-16 2020-09-01 Honda Motor Co., Ltd. Vehicle data selection system for modifying automated driving functionalities and method thereof
CN107791974B (zh) * 2016-08-31 2021-06-08 联创汽车电子有限公司 车载安全生态系统
CN106297189B (zh) * 2016-11-09 2019-01-29 招商局重庆交通科研设计院有限公司 交通事故汽车自动报警系统及交通事故监测报警方法
JP6437045B2 (ja) 2017-05-15 2018-12-12 みこらった株式会社 自動運転車
CN107215307A (zh) * 2017-05-24 2017-09-29 清华大学深圳研究生院 基于车辆传感器校正数据的驾驶员身份识别方法及系统
CN107212897A (zh) * 2017-08-02 2017-09-29 沈阳东康智能科技有限公司 基于云平台的车载人体健康数据采集系统以及健康监控方法
CN107634991B (zh) * 2017-08-31 2019-02-01 北京豪络科技有限公司 一种用于人身安全防护的出行系统
CN107791840A (zh) * 2017-09-06 2018-03-13 温州大学 一种防止车内乘客超载的装置及方法
CN107571735A (zh) * 2017-10-13 2018-01-12 苏州小黄人汽车科技有限公司 一种机动车驾驶员状态监测系统及监测方法
CN107958269B (zh) * 2017-11-28 2020-01-24 江苏大学 一种基于隐马尔可夫模型的行车危险度预测方法
CN108001158A (zh) * 2017-12-06 2018-05-08 戴姆勒股份公司 车内环境控制系统
CN108146360A (zh) * 2017-12-25 2018-06-12 出门问问信息科技有限公司 车辆控制的方法、装置、车载设备和可读存储介质
CN108492053A (zh) * 2018-04-11 2018-09-04 北京汽车研究总院有限公司 驾驶员风险评估模型训练、风险评估方法和装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04305759A (ja) * 1991-04-02 1992-10-28 Mitsubishi Electric Corp ニューラルネットワークの学習評価システム
JP2010079472A (ja) * 2008-09-25 2010-04-08 Mazda Motor Corp 車両の走行制御装置
JP2015532743A (ja) * 2012-08-14 2015-11-12 ボルボ ラストバグナー アーベー ドライバの運転状態を判断する方法
JP2017024653A (ja) * 2015-07-27 2017-02-02 トヨタ自動車株式会社 乗員情報取得装置及び車両制御システム
WO2018047392A1 (ja) * 2016-09-06 2018-03-15 Cyberdyne株式会社 モビリティ及びモビリティシステム

Also Published As

Publication number Publication date
CN109409207A (zh) 2019-03-01
EP3620963A1 (en) 2020-03-11
JP7256086B2 (ja) 2023-04-11
US11315349B2 (en) 2022-04-26
CN109409207B (zh) 2022-04-12
JP2022033805A (ja) 2022-03-02
US20200082187A1 (en) 2020-03-12

Similar Documents

Publication Publication Date Title
US11282389B2 (en) Pedestrian detection for vehicle driving assistance
JP2020042785A (ja) 無人車内の乗客状態の識別方法、装置、機器及び記憶媒体
Halim et al. Artificial intelligence techniques for driving safety and vehicle crash prediction
Xing et al. Identification and analysis of driver postures for in-vehicle driving activities and secondary tasks recognition
CN111741884A (zh) 交通遇险和路怒症检测方法
EP3588372B1 (en) Controlling an autonomous vehicle based on passenger behavior
JP2019523943A (ja) 視覚的且つ動的な運転シーンの知覚的負荷を決定する制御装置、システム及び方法
JP6448880B1 (ja) 危険情報収集装置
Kumtepe et al. Driver aggressiveness detection via multisensory data fusion
El Masri et al. Toward self-policing: Detecting drunk driving behaviors through sampling CAN bus data
CN115937830A (zh) 一种面向特种车辆的驾驶员疲劳检测方法
Civik et al. Real-time driver fatigue detection system with deep learning on a low-cost embedded system
Dimas et al. Self-supervised soft obstacle detection for safe navigation of visually impaired people
CN115909651A (zh) 车内人身安全保护方法、装置、设备及存储介质
Lashkov et al. Aggressive behavior detection based on driver heart rate and hand movement data
WO2022159214A2 (en) Fusion-based sensing intelligence and reporting
Wang et al. Enhancing YOLOv7-Based Fatigue Driving Detection through the Integration of Coordinate Attention Mechanism
US11145196B2 (en) Cognitive-based traffic incident snapshot triggering
Draz et al. An Embedded Solution of Gaze Estimation for Driver Assistance Using Computer Vision
WO2019125278A1 (en) Method and control arrangement for adapting information in a surveillance system
Christy et al. Driver Helper: A Mobile Based Application to Predict Driver Behaviour Using Classification Techniques
CN115320626B (zh) 基于人车状态的危险感知能力预测方法、装置及电子设备
Naseer et al. Automated Accidents on Road Analysis: An Overview of State of the Insights
Vispute et al. Inattentive Driver Identification Smart System (IDISS)
Gabrielli et al. An advanced multimodal driver-assistance prototype for emergency-vehicle detection

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190712

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200923

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201006

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201221

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210224

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210521

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20210720

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20211029

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211122

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20211122

C11 Written invitation by the commissioner to file amendments

Free format text: JAPANESE INTERMEDIATE CODE: C11

Effective date: 20220201

C12 Written invitation by the commissioner to file intermediate amendments

Free format text: JAPANESE INTERMEDIATE CODE: C12

Effective date: 20220201

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20220221

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20220222

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20220311

C211 Notice of termination of reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C211

Effective date: 20220315

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20220510

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20220705

C13 Notice of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: C13

Effective date: 20220726

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221021

C23 Notice of termination of proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C23

Effective date: 20230131

C03 Trial/appeal decision taken

Free format text: JAPANESE INTERMEDIATE CODE: C03

Effective date: 20230228

C30A Notification sent

Free format text: JAPANESE INTERMEDIATE CODE: C3012

Effective date: 20230228

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230330

R150 Certificate of patent or registration of utility model

Ref document number: 7256086

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150