JP2023017925A - 乗客関連物品の紛失軽減 - Google Patents

乗客関連物品の紛失軽減 Download PDF

Info

Publication number
JP2023017925A
JP2023017925A JP2022177555A JP2022177555A JP2023017925A JP 2023017925 A JP2023017925 A JP 2023017925A JP 2022177555 A JP2022177555 A JP 2022177555A JP 2022177555 A JP2022177555 A JP 2022177555A JP 2023017925 A JP2023017925 A JP 2023017925A
Authority
JP
Japan
Prior art keywords
passenger
item
interest
identified
items
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022177555A
Other languages
English (en)
Inventor
チジエ・シュ
Qijie Xu
ファティ・ポリクリ
Porikli Fatih
ジュンチアン・シェン
Junqiang Shen
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Publication of JP2023017925A publication Critical patent/JP2023017925A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/40—Business processes related to the transportation industry
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/955—Retrieval from the web using information identifiers, e.g. uniform resource locators [URL]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24143—Distances to neighbourhood prototypes, e.g. restricted Coulomb energy networks [RCEN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19639—Details of the system layout
    • G08B13/19647—Systems specially adapted for intrusion detection in or around a vehicle
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18—Status alarms
    • G08B21/24—Reminder alarms, e.g. anti-loss alarms
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B29/00—Checking or monitoring of signalling or alarm systems; Prevention or correction of operating errors, e.g. preventing unauthorised operation
    • G08B29/18—Prevention or correction of operating errors
    • G08B29/185—Signal analysis techniques for reducing or preventing false alarms or for enhancing the reliability of the system
    • G08B29/186—Fuzzy logic; neural networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/02—Details
    • H04L12/16—Arrangements for providing special services to substations
    • H04L12/18—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast
    • H04L12/1895—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast for short real-time information, e.g. alarms, notifications, alerts, updates
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/04—Real-time or near real-time messaging, e.g. instant messaging [IM]
    • H04L51/046—Interoperability with other network applications or services
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8006—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying scenes of vehicle interior, e.g. for monitoring passengers or cargo
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30268—Vehicle interior
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/58—Message adaptation for wireless communication

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Business, Economics & Management (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Human Computer Interaction (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Emergency Management (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Molecular Biology (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Biomedical Technology (AREA)
  • Tourism & Hospitality (AREA)
  • Economics (AREA)
  • Primary Health Care (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Human Resources & Organizations (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Fuzzy Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Mathematical Physics (AREA)

Abstract

【課題】賃借移動の状況において乗客関連物品の紛失を軽減する方法およびデバイスを提供する。【解決手段】車両乗客領域内の物品が識別され、識別された物品が乗客識別子によって識別された乗客に関連付けられる。車室品目データベースは、乗客識別子に関連付けられた識別された物品に基づくエントリを用いて更新される。乗客退出イベントが発生するとき、識別された物品の存在が車室乗客領域内で検出され、車室乗客領域内の識別された物品の存在に基づいて、識別された物品に関連するエントリを含むメッセージデータが生成される。【選択図】図７

Description

関連出願への相互参照
この出願は、2018年3月29日に出願された、発明の名称を「Passenger-related Item Loss Mitigation」とする米国出願第15/939,984号の優先権を主張し、適用可能なその全体が参照によりここに組み込まれる。
一般に、様々なコンピュータデバイスが、異なる環境における対象物認識のためのプラットフォームを提供する。車両デバイスに関して、対象物認識は、車両が車両センサデバイスを使用して交通環境内の対象物を感知および回避し得る自律型アプリケーションにおいて実現されてきた。また、車室内では、車両センサデバイスは、視線追跡テクノロジーのような運転者の操作を強化して車両のユーザインターフェース（音楽制御、照明、環境制御などのような）に対する運転者の注意を評価し、過去の運転者の選好に基づいて異なるグラフィックユーザインターフェースを調整、または提示するために使用されてきた。
処理能力およびセンサデバイスの感度が向上するにつれて、他のそのようなアプリケーションが車室環境内での使用のために実現されることが可能である。
一実施形態では、開示は、賃借移動の状況において乗客関連物品の紛失を軽減する方法を含む。方法は、車室乗客領域内の物品を識別するステップと、識別された物品を乗客識別子によって識別された乗客に関連付けるステップと、乗客識別子に関連付けられた識別された物品に基づくエントリを用いて車室品目データベースを更新するステップと、乗客退出イベントが発生したときに車室乗客領域内の識別された物品の存在を検出するステップと、車室乗客領域内の識別された物品の存在に基づいて、識別された物品に関連するエントリを含むメッセージデータを生成するステップとを含む。
任意選択で、前述の態様のいずれかにおいて、態様の別の実装は、物品を識別するステップは、車室乗客領域の画像をキャプチャするステップと、画像の関心領域を識別するステップであって、関心領域は、車室領域に関連する検出信頼性計量に基づく、ステップと、関心領域をアップサンプリングしてアップサンプリングされた関心領域を発生させるステップであって、アップサンプリングされた関心領域は、画像認識を促進するためのものである、ステップと、画像のアップサンプリングされた関心領域の画像認識を実行して車室乗客領域内の物品を識別するステップと、を含むことを提供する。任意選択で、前述の態様のいずれかにおいて、態様の別の実装は、車室乗客領域の画像をキャプチャするステップは、乗客進入イベント時に発生することを提供する。任意選択で、前述の態様のいずれかにおいて、態様の別の実装は、車室乗客領域で物品を識別するステップは、識別された物品を乗客関連物品として検証するステップを含むことを提供する。任意選択で、前述の態様のいずれかにおいて、態様の別の実装は、アナウンスデバイスを介してメッセージデータを口頭でアナウンスするステップをさらに提供する。任意選択で、前述の態様のいずれかにおいて、態様の別の実装は、メッセージデータをアナウンスするステップを提供する。任意選択で、前述の態様のいずれかにおいて、態様の別の実装は、メッセージデータをアナウンスするステップは、ハンドヘルドモバイルデバイスによる受信のために、乗客識別子に基づいてテキストメッセージを送信するステップ、ハンドヘルドモバイルデバイスのクライアントアプリケーションによる受信のために、乗客識別子に基づいてメッセージデータを送信するステップ、またはユーザデバイスによる受信のために、乗客識別子に基づいてメッセージデータをユニバーサル・リソース・ロケータ（URL）リンクとして送信するステップの少なくとも1つを含むことを提供する。任意選択で、前述の態様のいずれかにおいて、態様の別の実装は、乗客退出イベントは、カメラデバイスデータ、または車両ドアセンサデータの少なくとも1つに基づくことを提供する。
一実施形態では、開示は、物品の車載追跡のための車両制御ユニットを含む。車両制御ユニットは、命令を含むメモリと、メモリに結合され、メモリに記憶された命令を実行するように構成されたプロセッサと、を含み、命令は、複数の車室乗客領域内の物品を識別し、識別された物品を乗客識別子によって識別された乗客に関連付け、乗客識別子に関連付けられた識別された物品を含むエントリを用いて車室品目データベースを更新し、乗客退出イベントが発生したときに複数の車室乗客領域内の識別された物品の存在を検出し、複数の車室乗客領域内の識別された物品の存在に基づいて、識別された物品に関連するエントリを有するメッセージデータを生成することをプロセッサに実行させる。
任意選択で、前述の態様のいずれかにおいて、態様の別の実装は、複数の車室乗客領域のうちの車室乗客領域の画像をキャプチャし、画像の関心領域を識別し、関心領域は、複数の車室乗客領域のうちの車室乗客領域に関連する検出信頼性計量に基づき、関心領域をアップサンプリングしてアップサンプリングされた関心領域を発生させ、アップサンプリングされた関心領域は、画像認識を促進するためのものであり、画像のアップサンプリングされた関心領域の画像認識を実行して車室乗客領域内の物品を識別することによってプロセッサに物品を識別させる、メモリに記憶されたさらなる命令を提供する。任意選択で、前述の態様のいずれかにおいて、態様の別の実装は、複数の車室乗客領域内の物品を識別するステップは、識別された物品を乗客関連物品として検証するステップを含むことを提供する。任意選択で、前述の態様のいずれかにおいて、態様の別の実装は、ユーザインターフェースを介してメッセージデータを口頭でアナウンスすることをプロセッサに実行させるための、メモリに記憶されたさらなる命令を提供する。任意選択で、前述の態様のいずれかにおいて、態様の別の実装は、ハンドヘルドモバイルデバイスによる受信のための、乗客識別子に基づくテキストメッセージ、ハンドヘルドモバイルデバイスのクライアントアプリケーションによる受信のための、乗客識別子に基づくクライアントアプリケーション、またはユーザデバイスによる受信のための、ユニバーサル・リソース・ロケータ（URL）リンクの少なくとも1つによってプロセッサにメッセージデータを送信させるための、メモリに記憶されたさらなる命令を提供する。任意選択で、前述の態様のいずれかにおいて、態様の別の実装は、乗客退出イベントは、カメラデバイスデータ、または車両ドアセンサデータの少なくとも1つに基づくことを提供する。任意選択で、前述の態様のいずれかにおいて、態様の別の実装は、乗客識別子は、ユーザ名、国際モバイル機器識別（IMEI）番号、または電子シリアル番号（ESN）の少なくとも1つを含むことを提供する。
一実施形態では、開示は、乗客関連物品の紛失を軽減する方法を含み、方法は、画像認識を介して、車室乗客領域内の物品を乗客関連物品として識別するステップと、物品が乗客関連物品であるとき、物品を乗客識別子によって識別された乗客に関連付けるステップと、乗客識別子および乗客関連物品を用いて車室品目データベースエントリを更新するステップと、乗客退出イベントが発生したときに車室乗客領域内の乗客関連物品の存在を検出するステップと、車室乗客領域内の乗客関連物品の存在に基づいて、かつ車室品目データベースエントリに基づいてメッセージデータを生成するステップと、乗客識別子によって識別された乗客に警告するためにメッセージデータを送信するステップと、を含む。
任意選択で、前述の態様のいずれかにおいて、態様の別の実装は、物品を識別するステップは、車室乗客領域の画像をキャプチャするステップと、画像の関心領域を識別するステップであって、関心領域は、車室乗客領域に関連する検出信頼性計量に基づく、ステップと、関心領域をアップサンプリングしてアップサンプリングされた関心領域を発生させるステップであって、アップサンプリングされた関心領域は、画像認識を促進するための強化された着目部分を提供する、ステップと、画像のアップサンプリングされた関心領域の画像認識を実行して車室乗客領域内の物品を識別するステップと、を含むことを提供する。任意選択で、前述の態様のいずれかにおいて、態様の別の実装は、メッセージデータを送信するステップは、ハンドヘルドモバイルデバイスによる受信のために、乗客識別子に基づいてテキストメッセージを送信するステップ、ハンドヘルドモバイルデバイスのクライアントアプリケーションによる受信のために、乗客識別子に基づいてメッセージデータを送信するステップ、またはユーザデバイスによる受信のために、乗客識別子に基づいてメッセージデータをユニバーサル・リソース・ロケータ（URL）リンクとして送信するステップの少なくとも1つを含むことを提供する。任意選択で、前述の態様のいずれかにおいて、態様の別の実装は、乗客退出イベントは、カメラデバイスデータ、または車両ドアセンサデータの少なくとも1つに基づくことを提供する。任意選択で、前述の態様のいずれかにおいて、態様の別の実装は、乗客識別子は、ユーザ名、国際モバイル機器識別（IMEI）番号、または電子シリアル番号（ESN）の少なくとも1つを含むことを提供する。
明確さの目的のために、前述の実施形態のいずれか1つは、他の前述の実施形態のいずれか1つまたは複数と組み合わされて、本開示の範囲内で新しい実施形態を作り出し得る。
これらおよび他の特徴は、添付の図面および請求項と併せて以下の詳細な説明からより明確に理解されるであろう。
この開示のより十分な理解のために、ここで添付の図面および詳細な説明と併せて以下の簡単な説明への参照が行われ、同様の参照番号は、同様の部分を表現する。
車両制御ユニットを含む車両の概略の実例である。 車両のカメラデバイスによってキャプチャされた車室の例示的な側方ビュー画像を図示する。 関心領域の強化された着目部分を生成するためのアップサンプリングの事例を有する例示的な畳み込みニューラルネットワークを図示する。 図1の車両制御ユニットの一実施形態の概略図である。 車両制御ユニットの受動的検出動作モードを例示する例示的な機能フローチャートである。 車両制御ユニットの能動的検出動作モードを例示する例示的な機能フローチャートである。 賃借移動の状況において乗客関連物品の紛失を軽減するための方法の一実施形態を例示するフローチャートである。
最初に、1つまたは複数の実施形態の例示的な実装が下記で提供されるが、開示されるシステムおよび／または方法は、現在知られているか存在するかにかかわらず、任意の数の技術を使用して実現され得ることが理解されるべきである。開示は、ここで例示され、説明される例示的な設計および実装を含む、下記で例示される例示的な実装、図面、および技術に決して限定されるべきではないが、それらの同等物の全範囲と共に、添付の請求項の範囲内で修正され得る。
画像処理技術が使用されて、限定はしないが、彼らの財布、クレジットカード、ハンドバッグ、ブリーフケース、ヘアブラシ、一般的なポケット物品などのような個人の物品を乗客が意図せずに置き忘れ得る、共有車両環境、またはタクシーサービス、車両共有アプリケーション、ライドシェアなどのような賃借車両環境内でタイムリーなやり方で物品を検出することができる。車両は、例えば、車、トラック、バス、鉄道車両、船舶、航空機などのような人々を輸送する移動機械を指すと理解されることが可能である。
環境モニタリングは乗客座席に現れる身元不明の物品のような物品を検出することができるが、そのようなモニタリングは、上記で言及した個人の物品のような、乗客にとって本質的な価値を有する物品とは対照的に、例えば、物品が取るに足らないゴミまたは破片であり得るかどうか、物品を識別することが可能ではなかった。
意図せずに置き忘れられた物品のもう1つの複雑さは、所有権を決定するためにかかる時間である。所有権が決定されることが可能であるとき、次にさらなる複雑は、物品を見つけて適切な所有者に返却するために要求される時間およびリソースとなり、結果として、発生する乗車料金または他の収益を生み出す活動の紛失となる。
将来の乗客が彼らのスマートフォンを通じて乗車を手配することができる容易さの増加のため、対応する増加は、結果として、意図せずに置き忘れられた物品、ならびに乗客および運転者に対する不便となる。目的地への移動の間、乗客は、個人の対象物を取り出す必要性を有する。しかし、いったん目的地において、乗客は、乗車の間に取り出した物品を忘れ、または見落とし得る。また時々、乗客は、乗客が知らずにポケットまたはハンドバッグからいくつかの対象物を偶然に滑り落とし得る。ヘアブラシ、雑誌などのようなより少ない物品は、例えば、そのような物品を見つけて再購入するための不便さ、時間および費用のために、依然として乗客にとって本質的に便利な価値を有し得る。これらの個人の物品は重要な物品であり、乗客はタイムリーにそれらが戻ることを望むが、もっと良いのは、そもそもその物品を見失わないことである。
ここに開示されるのは、限定はしないが、乗客の物品を識別することができ、乗客の退出時に車両の後ろに残っている識別された物品について合図または警告を提供して乗客に通知することができる、賃借移動の状況におけるような乗客関連物品の紛失を軽減するための方法およびデバイスである。
図1は、車両制御ユニット110を含む車両100の概略の実例である。カメラデバイス120、121、122および123ならびに車両ドアセンサデバイス172、174および176は、車両制御ユニット110と通信して、本開示の乗客関連物品の紛失軽減を提供する。
一般に、乗客162が車両の乗車を望むとき、乗客162は、彼らのハンドヘルドモバイルデバイス236にロードされたライドシェアリングアプリケーションにアクセスすることができる。ハンドヘルドモバイルデバイス236の例は、携帯電話、スマートフォン、パーソナル・デジタル・アシスタント（personal digital assistant, PDA）デバイス、タブレットコンピュータ、電子書籍リーダなどを含むことができる。ライドシェアリングアプリケーションの例は、サービスプロバイダのUber、Lyftなどによって提供されるアプリケーションを含む。
賃借車両、またはライドシェアを要求するために、乗客162は、アプリケーションサービスに関連付けられた乗客の連絡先データ151を含むアカウントプロファイルを有する。連絡先データ151は、例えば、氏名、住所、年齢、会員番号、携帯電話番号、電子メールアドレスなどのような乗客情報を含み得る。
連絡先データ151は、本開示のシステムによって乗客162および／または彼らのハンドヘルドモバイルデバイス236に割り当てられた固有の識別子を含む、乗客識別子148を用いてアクセスすることができる。例えば、乗客識別子148は、乗客162のユーザ名、乗客のハンドヘルドモバイルデバイス236の国際モバイル機器識別（international mobile equipment identity, IMEI）番号もしくは電子シリアル番号（electronic serial number, ESN）、ならびに／または乗客162および／もしくは彼らのハンドヘルドモバイルデバイス236に関連する他の固有の識別子を含み得る。
乗客162が、ハンドヘルドモバイルデバイス236を通じて、車両の乗車を要求するとき、乗客識別子148は、ネットワーククラウド118と結合された無線通信144および142を介して第三者サーバ133に提供される。それに応じて、車両の乗車は、例えば、乗客162についての出迎え座標および連絡先データ151を指定する運転者指向のアプリケーションを通じて、乗客162のための車両100と共に調整される。
乗客識別子148および連絡先データ151は、アンテナ112を通じた無線通信140を介して車両制御ユニット110に伝達されることが可能である。無線通信140は、ネットワーククラウド118を通じて無線通信142および144に伸びる。そのような無線通信は、国内および／または国際携帯電話システムからインターネット、ポイントツーポイントの家庭内無線ネットワーク、無線周波数識別（radio frequency identification, RFID）システムにまで及ぶ。通信システムの各タイプは、1つまたは複数の通信規格に従って構築され、したがって動作する。例えば、無線通信システムは、限定はしないが、第3世代パートナーシッププロジェクト（3rd Generation Partnership Project, 3GPP（登録商標））、第4世代パートナーシッププロジェクト（4th Generation Partnership Project, 4GPP）、第5世代パートナーシッププロジェクト（5th Generation Partnership Project, 5GPP）、ロング・ターム・エボリューション（LTE）、高度LTE（LTE Advanced）、RFID、米国電気電子学会（Institute of Electrical and Electronics Engineers, IEEE）802.11、ブルートゥース（登録商標）（Bluetooth）、高度携帯電話サービス（advanced mobile phone services, AMPS）、デジタルAMPS、モバイル通信のためのグローバルシステム（global system for mobile communications, GSM）、符号分割多元接続（code division multiple access, CDMA）、ローカルマルチポイント配信システム（local multi-point distribution systems, LMDS）、マルチチャネルマルチポイント配信システム（multi-channel-multi-point distribution systems, MMDS）、および／またはそれらの変形を含む1つまたは複数の規格に従って動作し得る。
車両100における走行の間、車両制御ユニット110は、カメラデバイス120、121、122および123を通じて車室102内の物品を監視するように動作し得る。各カメラデバイス120、121、122および123は、車両制御ユニット110を通じて、車室乗客領域124、126および／または127の1つまたは複数を監視するように割り当てられることが可能である。また、カメラデバイス120、121、122および123の各々は、車室102内に配置されて、車室乗客領域124、126、および／または127の側方ビューまたは上方ビューのような異なるビューをキャプチャすることができる。図1の例では、車両100は、少なくとも4つの座席位置－乗客側前部座席、乗客側後部座席、運転者側後部座席、および運転者側前部座席に配置された運転者／操作者座席を有する乗客セダンとして提示されている。
用語カメラまたはカメラデバイスは、画像を記録またはキャプチャするための任意の光学機器を表現するためにここで使用され、画像は、デバイスにローカルに格納されるか、電力／データバス128を介して車両制御ユニット110のような別の場所に送信されるか、またはその両方であり得る。画像は、個々の静止写真、または動画を生成するための画像のシーケンスを含み得る。動画は、カメラまたはカメラデバイスを用いてローカルに格納され、MPEG-2パート2、MPEG-4パート2、H.264（MPEG-4パート10）、高効率ビデオコーディング（High Efficiency Video Coding, HEVC）、Theora、RealVideo RV40、VP9、AV1などのような圧縮動画フォーマットで車両制御ユニット110に送信および／またはストリーミングされることが可能である。
図1の例では、乗客162は、車室乗客領域124に対応する前部乗客座席を占有している。説明の明確さのために、車室乗客領域124内の着席している乗客の実例は、示されていない。カメラデバイス122は、車両100のドアフレームに配置され、車室乗客領域124の側方視野を有する。カメラデバイス120は、車両100の天井に配置され、車室乗客領域124の上方視野を有する。カメラデバイスは、乗客の物品を識別するために内部の任意の角度および／またはエリアをキャプチャするように、車室102内のどこにでも設置されることが可能であることに留意されたい。
カメラデバイス120および122は、車室102の画像をキャプチャし、車室乗客領域124内に配置された物品130のような物品の識別を決定するために車両制御ユニット110によって利用されることが可能であるデータ152を生成し得る。いったん識別されると、車両制御ユニット110は、物品130のような識別された物品を、乗客識別子148によって識別された乗客162に関連付けるように動作し、識別された物品130に基づいて、車室品目データベースエントリ114を用いて車室品目データベース150を更新するように動作する。車両制御ユニット110は、場所、乗客162と物品130の同時存在の時間に基づいて、物品130を乗客162に関連付ける。例えば、画像のタイムスタンプ、支払いのタイムスタンプ、予定された出迎え時間などに基づいて、乗客が賃借車両と同時存在する時間。物品との同時存在の時間は、物品130が車両100内の乗客の存在の時間に対応して現れるときに考慮され得る。
また、各カメラデバイス120、121、122および123は、可視および／または非可視光スペクトルで動作することができるので、車室乗客領域124、126および／または127の画像は、車室102内の好ましいおよび／または好ましくない照明条件でキャプチャされることが可能である。
車両ドアセンサデバイス172、174および176は、乗客退出および／または進入イベントを感知するように動作する。図1の例では、車両ドアセンサデバイス172、174および176の各々は、それぞれ、車室乗客領域124、126および127に対応する。乗客退出および／またはイベントの例は、掛け金が掛かった状態から掛け金が掛かっていない状態に移行する車両乗客ドアの掛け金を感知する車両ドアセンサデバイス172、174および176を含む。
例えば、車両100が乗客の出迎えポイントに到達するか、または目的地に到着したとき、乗客162（または運転者）は、車両100の前部乗客ドアを開く。乗客の出迎え時の乗客進入イベント、または目的地に到達したときの退出イベントを感知すると、この例における車両ドアセンサデバイス172は、それぞれの進入および／または退出イベントを示すデータ152を生成するように動作可能である。データ152は、電力／データバス128を介して車両制御ユニット110に配信されることが可能である。
カメラデバイス120、121、122および123、車両ドアセンサデバイス172、174および176、ならびに車両制御ユニット110は、ボディ電子エリアネットワーク（Body Electronic Area Network, BEAN）、コントローラエリアネットワーク（Controller Area Network, CAN）バス構成、自動車用イーサネットローカルエリアネットワーク（Local Area Network, LAN）自動車用無線LAN構成、および／または他の通信システムアーキテクチャのようなネットワークアーキテクチャの組み合わせを含む電力／データバス128によって結合されて、車両100のデバイスとシステムの間の通信を提供することができる。
認識され得るように、自律型車両では、運転者の座席エリア（例えば、前部運転者側座席）は、結果として構成され得るように追加の車室乗客領域を提供することができる。さらに、より少ないまたはより多くの数の車室乗客領域が、車両100のモデルに対する座席容量に対応することができる。
本開示では、車室乗客領域124内の物品130は、車両制御ユニット110によって実行可能な画像認識処理を通じて識別される。画像認識処理は、図2および図3を参照して詳細に論じられる機械学習技術によって実現されることが可能である。
車両ドアセンサデバイス172、174、および／または176によって示されるように、乗客退出イベントが発生するとき、車両制御ユニット110は、車室乗客領域124内の識別された物品130の存在を検出するように動作し、メッセージデータ160を生成する。メッセージデータ160は、検出された物品130に関連する車室品目データベースエントリ114を含み、また連絡先データ151も含む。
メッセージデータ160が使用されて、識別された物品130が車両100内に置き忘れられていることを乗客162に通知することができる。警告は、ハンドヘルドモバイルデバイス236を介することができ、ハンドヘルドモバイルデバイス236は、テキストメッセージ（触覚振動、ノイズ警告、視覚グラフィック警告などを含む）を受信し、乗客162に物品130を警告することができる。警告はまた、物品130に乗客162の注意を引くための音声および／または視覚警告を含む、車両100のアナウンスデバイス164を介することができる。動作において、車両制御ユニット110は、賃借移動の状況において乗客関連物品の紛失を軽減する。
認識され得るように、車両制御ユニット110は、物品130の場所が静的ではない可能性があるため、車両100における移動の間に連続的かつ／または定期的に車室乗客領域124、126および／または127を監視するように動作することができる。乗客162は、車室乗客領域124内の、または他の車室乗客領域126および／または127内の物品130のような物品を意図的におよび／または意図せずに動かすか取り扱い得る。したがって、車両制御ユニット110は、物品130を再識別するか、または車両移動の間に物品130を追跡するように構成される。
車両制御ユニット110が定期的に動作するとき、車両制御ユニット110は、受動的検出モード動作と呼ばれることがあり、これは、図7を参照して詳細に説明される。車両制御ユニット110が連続的に動作するとき、車両制御ユニット110は、能動的検出モード動作と呼ばれることがあり、これは、図6を参照して詳細に説明される。認識され得るように、受動的検出モード動作は、車両制御ユニット110のより少ない計算リソース、およびより少ない電力を要求して、車室乗客領域124、126および／または127を監視し、一方、能動的検出モード動作は、車両制御ユニット110のより大きな計算リソース、およびより大きな電力を要求して、車室乗客領域124、126および／または127を監視する。
図2は、図1のカメラデバイス122のような車両100のカメラデバイスによってキャプチャされ得るような、車室102の例示的な側方ビュー画像202を図示する。図2の視点は、隠されている、または画像認識を複雑にし得る容易に認識できない位置である物品130の画像認識の例を例示するように動作する。物品130は、例えば、エッジ視点が画像202によってキャプチャされ得るように、車室乗客領域124において表が下向きにされた乗客のクレジットカードであり得る。画像認識は、一般に、画像内のエッジ境界の検出に基づく。例えば、クレジットカードのエッジ境界は、カメラデバイスに対して異なる位置または方向で一般的な長方形を形成する。
画像処理のために、画像202は、複数の領域206として定義されることが可能である。これらのうち、関心領域208は、領域206（1, 1）、206（2, 1）、206（3, 1）などのように、高い信頼性計量を有するものとして定義され得る。図2の例では、関心領域208は、マトリックスブロックを形成するが、関心領域はより粗いまたはより細かい粒度に縮尺されて、画像処理のために管理可能なブロックを提供することができる。乗客関連物品は車室乗客領域124内の固定場所に拘束されないので、画像認識技術は、図3で詳細に説明される機械学習技術を組み込み得る。
認識され得るように、様々な画像認識戦略が、車室乗客領域内の物品の認識のために実現され得る。例えば、画像認識技術は、物品の特定の特徴を考慮して外観を基にすることができ、解釈ツリーによって実現されることが可能であり、これは、モデルマッチングの深さ優先探索技術であり、より単純な物品のためのパターンまたはテンプレートマッチングによって実現されることが可能であり、または生物学的ニューラルネットワークによってもたらされた人工ニューラルネットワークによって実現されることが可能である。
当初、従来のニューラルネットワークが使用されていたが、それらの実現は過度に厄介であることが判明された。技術とテクノロジーが進化するにつれて、近接性が類似性と強く相関するという原則である画像の一般的な態様を利用するために、畳み込みニューラルネットワークが開発されてきた。例えば、所与の画像内で互いに近い2つのピクセルは、遠く離れている2つのピクセルよりも関連している可能性が高い。
ニューラルネットワークの効率を向上させるために、畳み込みは、より低い重要性の接続を除去するように動作し、接続を近接性によってフィルタリングすることによって画像処理を計算上管理可能にする。畳み込みニューラルネットワークが接続を制限し、それによりネットワークのニューロンは、所与の画像層の小さなサブセクション（例えば、3x3x1または5x5x1ピクセル）からの入力のみを受け入れる。したがって、画像は、管理可能な部分に分割され、全体的な視覚画像認識のための処理の効率を大きく促進する。
動作において、領域206に分解された車室乗客領域124、126および／または127を含む画像202がキャプチャされる。領域206は、（x, y）のように、列／行を基にして指定されることが可能である。関心領域208は、画像202において識別され、関心領域208は、車室乗客領域124、126および／または127の少なくとも1つ、ならびに領域206の1つに対応する検出信頼性計量に基づく。デフォルトで車室乗客領域124、126および／または127を含まないこれらの領域206は、一般に、車室乗客領域と相関しない最上行領域206（1, 3）、206（2, 3）、206（3, 3）のようなより低いまたは無視可能な信頼性計量を有する。残っている領域206のうち、物品を有する領域は、物品が検出されていない関心領域208に関して高い検出信頼性計量を提供する。
検出信頼性計量は、画像認識技術を通じて識別された対象物が正確に識別されるかまたは識別可能である確率または尤度に関連する。一般に、検出信頼性計量は、本質的に発見的であり、追加の訓練データ、フィードバックデータ、および実世界の適用を通じた向上、および特定の画像認識技術への結果としてのフィードバックに従う。例えば、畳み込みニューラルネットワークは、勾配降下法で学習するように動作することができ、ここで、ニューラルネットワークの各層は、下の層からフィードし、高い検出信頼性計量で対象物を解決、すなわち認識するために適応し得る階層特徴を構築する。
画像処理に関して、畳み込みニューラルネットワークは、大量の訓練データを通じて機械学習に関与し得る。また、時間にわたって、畳み込みニューラルネットワークは、異なる視点および／または方向で物品を描く異なるデータにさらされると自己学習し得る。次に、画像認識を適用する際、検出信頼性計量は、多くの物品の1つとして認識される可能性が高い、または確率的に認識可能である様々なピクセル密度を中継する。
関心領域208は、アップサンプリングされてアップサンプリングされた関心領域210を発生させ、これは、事実上、関心領域208のさらにピクセル着目をもたらす。この点で、車両制御ユニット110のリソースは、アップサンプリングされた関心領域に着目して、画像202のアップサンプリングされた関心領域208のアップサンプリングされた実行画像認識の画像認識を実行して、車室乗客領域124内の物品130を識別する。さらに、機械学習技術が実現されて、物品を基本的なクラスにさらに描写し得る。例は、賃借移動の乗客に関連付けられたもののような乗客関連物品のクラス、および車両操作者の物品のような非乗客関連物品である別のクラスである。上記で説明された画像処理技術を使用して、物品130のような物品は、容易に検出および識別され得る。
画像202に基づく画像認識に関して、図3は、例示的な畳み込みニューラルネットワーク300を図示する。一般に、畳み込みニューラルネットワーク300は、畳み込み層302と、プーリング層304と、完全接続ニューラルネットワーク層306とを含む。訓練に関して、畳み込みニューラルネットワーク300は、（上記で説明されたような）可能性のある乗客関連物品のセットで訓練さえ得る。
動作において、畳み込みニューラルネットワーク300は、近接性による接続のフィルタリングに基づいて、画像202についての画像認識を提供するように動作する。例えば、ニューラルネットワークを用いてなど、所与の層のすべてのニューロンにすべての入力を接続するのではなく、畳み込みニューラルネットワーク300が接続を制限するように動作し、それによりニューロンは、その前の層の小さなサブセクションからの入力のみを受け入れる。したがって、畳み込みニューラルネットワーク300のニューロンは、画像202の一部を画像処理する役割を果たす。
畳み込み層302は、画像202（幅（x）、高さ（y）、および色（d）の次元を有する）を出力310として重なり合うタイルのグループ（例えば、3x3x3個のタイル）に処理するように動作する。画像202が動画、または一連の画像の形式であるとき、時間（t）を考慮するためにさらなる次元が追加されることが可能である。出力310は、画像202の各エリアの内容を数値的に表現するために配列に配置された値を提供する（例えば、図2参照されたい）。
プーリング層304は、三または四次元配列で出力310を受信し、関心領域208内の物品130を示す検出信頼性計量に関連する画像202の部分を含むプールされた出力312を発生させる。一般に、プーリング層は、画像表現の空間サイズを減少させるように動作する。プーリングは、元の入力ボリュームから特徴のリレーショナルコンテキストを発生させるように動作し、事実上、画像ボリュームの空間サイズを減少させ、ピクセルの長さと幅は変化するが、ピクセルの深さは変化しない。その結果、パラメータの数および畳み込みネットワークによる計算も減少される。
完全接続ニューラルネットワーク層306は、画像202に関連する関心領域208を発生させるための検出層314として機能する。検出層314は、検出された物品130を表現する高い検出信頼性計量を有するこれらの関心領域208を保持する。
コントローラ316は、プールされた出力312を選択的にアップサンプリングしてアップサンプリング318およびフィルタ322を介してアップサンプリングされた出力324を発生させるように動作し、フィルタ322は、関心領域208を介して画像202のさらなるセグメントを描写し、着目する（例えば、ピクセル密度を増加させる）ように動作する。アップサンプリングされた出力324は、さらにプールされ、例えば画像202のようなより低い解像度画像の一部の増加された解像度を有するアップサンプリングされたプールされた出力326を発生させることができる。
アップサンプリングされたプールされた出力326は、アップサンプリングされたプールされた出力326からの検出320によって発生されたアップサンプリングされた関心領域210によってさらに着目されるような、例えば、関心領域208内の物品130を示す検出信頼性計量に関連する画像202の構成要素および／または部分をさらに含む。この点で、画像202の解像度は、プールされた層からコンテキストをキャプチャするように強化される。事実上、プールされた出力326をアップサンプリングすることは、画像認識のための追加の情報を提供するために、画像202の所望の部分への着目機能を提供する。
追加の畳み込み、プーリング、およびアップサンプリングプロセスを実現する追加のアップサンプリング段階が実現されて、関心領域208の部分に繰り返し着目し、画像認識結果に到達することができる。畳み込みニューラルネットワーク300は、図4を参照して詳細に説明されるように、車両制御ユニット110を介して実行され得る。
図4は、開示の一実施形態による、車両制御ユニット110の概略図である。車両制御ユニット110は、ここで説明されるような開示された実施形態を実現するための適切なプラットフォームである。車両制御ユニット110は、データを受信および／または送信するための通信インターフェース402と、データを処理するためのプロセッサ、論理ユニット、または中央処理ユニット（central processing unit, CPU）404と、バス408を通じて互いに結合されたデータを記憶するためのメモリ406とを含み得る。
プロセッサ404は、ハードウェアおよびソフトウェアによって実現される。プロセッサ404は、1つまたは複数のCPUチップ、コア（例えば、マルチコアプロセッサとして）、フィールド・プログラマブル・ゲート・アレイ（field-programmable gate array, FPGA）、特定用途向け集積回路（application specific integrated circuit, ASIC）、およびデジタル信号プロセッサ（digital signal processor, DSP）として実現され得る。プロセッサ404は、通信インターフェース402およびメモリ406と通信する。プロセッサ404は、情報を操作もしくは処理することが可能な、従来の中央処理ユニットもしくは任意の他のタイプのデバイス、または複数のデバイスであることが可能である。認識され得るように、プロセッサ404は、単一の処理デバイスまたは複数の処理デバイスであり得る。そのような処理デバイスは、マイクロプロセッサ、マイクロコントローラ、デジタル信号プロセッサ、マイクロコンピュータ、中央処理ユニット、フィールド・プログラマブル・ゲート・アレイ、プログラマブル論理デバイス、状態機械、論理回路、類推回路、デジタル回路、ならびに／または回路および／もしくは動作命令のハードコーディングに基づいて信号（アナログおよび／もしくはデジタル）を操作する任意のデバイスであり得る。
メモリ（および／またはメモリ素子）406は、1つまたは複数のディスク、テープドライブ、およびソリッドステートドライブを含み、オーバフローデータ記憶デバイスとして、そのようなプログラムが実行のために選択されたときにプログラムを記憶し、プログラム実行の間に読み取られる命令およびデータを記憶するために使用され得る。メモリ406は、揮発性および／または不揮発性であってもよく、リードオンリメモリ（read-only memory, ROM）、ランダムアクセスメモリ（random access memory, RAM）、三元連想メモリ（ternary content-addressable memory, TCAM）、および／または静的ランダムアクセスメモリ（static random-access memory, SRAM）であってもよい。さらに、ここで説明される構成は、コンピュータ可読プログラムコードが具現化された、すなわち、その上に記憶された1つまたは複数のコンピュータ可読記憶媒体に具現化されたコンピュータプログラム製品の形態をとり得る。1つまたは複数のコンピュータ可読媒体の任意の組み合わせが、利用され得る。コンピュータ可読媒体は、コンピュータ可読信号媒体またはコンピュータ可読記憶媒体であり得る。
語句「コンピュータ可読記憶媒体」は、非一時的記憶媒体を意味する。コンピュータ可読記憶媒体は、例えば、限定はしないが、電子、磁気、光学、電磁気、赤外線、もしくは半導体のシステム、装置、またはデバイス、あるいは前述の任意の適切な組み合わせであってもよい。コンピュータ可読記憶媒体のより具体的な例（網羅的ではないリスト）は、以下、すなわち、ポータブルコンピュータディスケット、ハードディスクドライブ（hard disk drive, HDD）、ソリッドステートドライブ（solid-state drive, SSD）、ROM、消去可能プログラマブル・リードオンリメモリ（erasable programmable read-only memory, EPROMまたはフラッシュメモリ）、ポータブルコンパクトディスク・リードオンリメモリ（compact disc read-only memory, CD-ROM）、デジタル多用途ディスク（digital versatile disc, DVD）、光記憶デバイス、磁気記憶デバイス、または前述の任意の適切な組み合わせを含む。ここで説明される実施形態の文脈において、コンピュータ可読記憶媒体は、命令実行システム、装置、またはデバイスによって、またはそれに関連して使用するためのプログラムを含む、または記憶することができる任意の有形媒体であり得る。コンピュータ可読媒体上に具現化されたプログラムコードは、限定はしないが、無線、無線、光ファイバ、ケーブル、無線周波数（Radio Frequency, RF）など、または前述の任意の適切な組み合わせを含む任意の適切な媒体を使用して送信され得る。
メモリ406は、機械可読命令を記憶することが可能であり、それにより、機械可読命令は、例えば、プロセッサ404によって直接実行され得る機械言語、または機械可読命令にコンパイルまたはアセンブルされ、メモリ406に記憶され得る、アセンブリ言語、JAVA（登録商標）、Smalltalk、C＋＋または同様のもののようなオブジェクト指向プログラミング（object-oriented programming, OOP）、従来の手続き型プログラミング言語、スクリプト言語、マイクロコードなどのようなプログラミング言語、およびそれらの世代（例えば、1GL、2GL、3GL、4GL、または5GL）で書かれた論理またはアルゴリズムを含むことができる。その代わりに、機械可読命令は、FPGA構成もしくはASICのいずれか、または同等のものを介して実現された論理のようなハードウェア記述言語（hardware description language, HDL）で書かれてもよい。したがって、ここで説明される方法およびデバイスは、任意の従来のコンピュータプログラミング言語で、事前にプログラムされたハードウェア要素として、またはハードウェア構成要素とソフトウェア構成要素の組み合わせとして実現され得る。
プロセッサ404が1つより多くの処理デバイスを含むとき、処理デバイスは、中央に配置されてもよく（例えば、有線および／または無線バス構造を介して一緒に直接結合されて）、または分散して配置されてもよい（例えば、ローカルエリアネットワークおよび／またはワイドエリアネットワークを介した間接結合を介したクラウドコンピューティング）ことに留意されたい。さらに、プロセッサ404が状態機械、アナログ回路、デジタル回路、および／または論理回路を介してその機能の1つまたは複数を実現するとき、対応する動作命令を記憶するメモリ（および／またはメモリ素子）は、状態機械、アナログ回路、デジタル回路、および／または論理回路を含む回路内に組み込まれ、または回路の外部にあってもよいことに留意されたい。
通信インターフェース402は、一般に、電力／データバス128を介して車両ネットワーク412に提供されるメッセージデータ160のような車両ネットワーク412を介して受信されたデータ、ならびに受信データ152を制御および管理する。
車室品目データベースは、メモリ406において定義され、密接なククライアントデータベース動作のために車両制御ユニット110と並置されたローカル車室品目データベース450としてローカルに格納されることが可能である。例えば、無線通信140における不十分な信号品質によるデータの混乱を回避するために、図1の車室品目データベース150の一部（表されない）は、ローカル車室品目データベース450としてメモリ406にダウンロードされ、プッシュされ、かつ／またはコピーされ得る。
この点で、車両制御ユニット110は、乗客162の連絡先データ151に基づいて、アナウンスのためのメッセージデータ160を生成し得る。通信インターフェース402はまた、無線通信140を通じて、ネットワーククラウド118によって表現されるような外部ネットワークに関するデータフローを管理するように動作し得る。任意の特定のハードウェア構成で動作する本開示に制限はなく、したがって、ここでの基本的特徴は、開発され得るような向上したハードウェアおよび／またはファームウェア構成のために置換され、除去され、追加され、または他のやり方で修正されてもよい。
図5は、車両制御ユニット110の受動的検出動作モード500を例示する例示的な機能フローチャートである。一般に、受動的検出動作モード500は、車室乗客領域124、126および／または127内の物品を検出および識別するために、より長いまたは遅延した時間間隔で動作し得る。受動的検出動作モード500では、車両制御ユニット110の計算リソースに対するより少ない需要、結果として、車両100の電源からのより少ない電力要件がある。受動的検出動作モード500は、電気および／またはハイブリッド電気車両環境で使用されて、車両制御ユニット110による電力消費を最小化し得る。
受動的検出動作モード500は、オフライン構成要素510と、オンライン構成要素560とを含む。オフライン構成要素510は、ブロック512におけるような車両制御ユニット110の休止時間の間に生成して、車室乗客領域124、126および127に対応する車室102のための車室訓練データを構築することができる。車室訓練データは、車室102に対するカメラデバイスの場所および視点に基づいて、各カメラデバイス120、121、122および123について生成され得る。認識され得るように、訓練データは、車室102内の物品認識のために畳み込みニューラルネットワーク300を訓練するために使用され得る。
ブロック514において、動作は、図2によって例示され、上記で詳細に説明されたように、車室モデルを領域206（a, b）にセグメント化する。セグメント化された車室モデルは、（1）乗客進入イベント562および（2）乗客退出イベント576の例によって開始される物品識別のためのオンライン構成要素560において使用される。認識され得るように、乗客進入イベント562と乗客退出イベント576との間の時間期間は、車両制御ユニット110の電力およびリソースの利用可能性に基づいて、車室乗客領域における物品検出および識別のために、より小さいサンプリング時間間隔で行われることが可能である。
オンライン構成要素560において、乗客進入イベント562は、その後、物品識別および乗客識別を開始する。乗客進入イベント562の例は、例えば、乗客が座席にすわるための時間期間を伴う乗客ドアを開けることを含む。
ブロック564において、受動的検出動作モード500は、車室102の画像をキャプチャし、ブロック566において、車室乗客領域124、126および／または127内の1つまたは複数の物品を検出および識別する。
乗客識別は、乗客画像がキャプチャされ、および／またはアプリケーションがアクセスされるブロック568で始まり、ブロック570において、乗客認識および乗客識別子を生成する。
認識され得るように、乗客認識は、インターネット供給された認識データを使用する顔および／または生体認証技術に基づくことができる。例えば、顔認識能力が開発され、経歴情報と結合されたユーザ画像投稿からのソーシャル・ネットワーキング・データ・リソースから利用可能にされることが可能である。ソーシャル・ネットワーキング・リソースの例は、限定はしないが、Facebook、Linkedin、Google＋、YouTube（登録商標）、Pinterest、Instagram、Tumblrなどを含み得る。
また認識され得るように、乗客認識は、図1を参照して上記で注記したように、賃借車両を要求するために使用されるクライアントアプリケーションからの乗客の連絡先データ151に基づくことができる。
ブロック572において、ブロック566の識別された物品は、ブロック570において識別された、または認識された乗客に関連付けられる。ブロック574において、車室品目データベース150は、乗客識別子に関連付けられた識別された物品に基づくエントリを用いて更新される。
ブロック576において、乗客退出イベントは、車室乗客領域124、126および／または127内の1つまたは複数の物品を識別することをトリガする。ブロック562の乗客進入イベントからの物品識別とは対照的に、物品は、乗客によって彼らの衣服または付属品に戻されるように、他の車室乗客領域に再配置され、または全く除去され得る。ブロック578において、残っているまたは除去された物品が識別される。ブロック580において、残っている物品の場所および除去された物品の最後に知られた場所が決定される。ブロック572において、残っているまたは除去された物品は、乗客に関連付けられ、ブロック574において、車室品目データベース150は、残っているまたは除去された物品のステータスを反映するように更新される。
ブロック594において、上記で詳細に論じられたように、乗客に通知するために、車室乗客領域内の識別された1つまたは複数の物品に関連するエントリを含むメッセージデータが生成される。ブロック562での乗客進入イベントとブロック576での乗客退出イベントとの間の時間期間のため、複数の乗客を伴うシナリオは、識別された物品を個々の乗客に関連付けないことがあり得るが、一般に、識別された物品を乗客のグループ全体として関連付ける。
また、車室品目データベース150は、ユーザクエリを介してブロック590でアクセスされ得る。これに関して、乗客、車両操作者、または賃借車両サービスは、ブロック592において、車室品目データベース150内のクエリオブジェクトを検索し、ブロック594において、メッセージデータを生成して乗客ならびに車両操作者および／または賃借車両サービスに通知し得る。
図6は、車両制御ユニット110の能動的検出動作モード600を例示する例示的な機能フローチャートである。一般に、能動的検出動作モード600は、識別された物品を乗客に関連付けるために、連続的またはほぼ連続的に動作し得る。
ブロック610において、乗客進入イベントが発生すると、乗客は、ブロック612で検出され、ブロック614において、上記で説明された顔認識および／もしくは生体入力を通じて、または乗客のクライアントアプリケーションを介してアクセスされる連絡先データ151を通じて識別される。また、ブロック612において、乗客によって除去され得る、またはポケットおよび／もしくはハンドバッグから意図せずに落下し得る乗客の1つまたは複数の物品の観察のために、ブロック616で、乗客の手の動き、ポケット、ハンドバッグなどが検出され得る。
ブロック618において、識別された物品は、ブロック614で識別された乗客に関連付けられ、ブロック619において、車室品目データベース150は、乗客識別子に関連付けられた識別された物品に基づくエントリを用いて更新される。
ブロック630において、乗客退出イベントがトリガし、ブロック632において、車室乗客領域124、126および／または127内の1つまたは複数の物品の存在を検出する。識別された物品がブロック634で検出されるとき、上記で詳細に説明されたように、乗客に通知するために、車室乗客領域内の識別された1つまたは複数の物品に関連するエントリを含むメッセージデータが生成される。ブロック634において、乗客によって彼らの衣服または付属品に戻されたような、識別された物品が検出されない場合、車室発明者データベース150は、更新されたステータスを反映するようにブロック638で更新される。
また、車室品目データベース150は、ユーザクエリを介してブロック620でアクセスされ得る。これに関して、乗客、車両操作者、または賃借車両サービスは、ブロック622において、車室品目データベース150内のクエリオブジェクトを検索し、ブロック624において、メッセージデータを生成して識別された物品のステータスに関する乗客ならびに車両操作者および／または賃借車両サービスに通知し得る。
図7は、乗客関連物品の紛失軽減のための方法700の一実施形態を例示するフローチャートである。一実施形態では、方法700は、車両制御ユニットに実現され、例えば、乗客物品が車室乗客領域内で識別されるときに使用される。
ブロック702において、物品は、車室乗客領域内で識別される。認識され得るように、画像処理技術は、環境における変化を感知するために使用することができる。共有車両環境では、画像認識が使用されて、最初はそこになかった乗客座席上の物品のような環境変化を検出することができる。
また、画像認識処理は、検出信頼性計量に基づいて車両乗客領域をさらに描写し、それに着目するためのアップサンプリング技術を含み得る。例えば、車室領域の画像をキャプチャすると、画像の関心領域は、車両乗客領域の間のそれぞれの検出信頼性計量に基づいて識別されることが可能である（例えば、車両乗客領域内の物品を示す）。一般に、画像認識のための機械学習技術は、開発されたモデリングデータのセット（車室画像データおよび物品のセットについての物品画像データのような）に基づいて訓練される。深層学習機械技術（例えば、畳み込みニューラルネットワーク、アクター・クリティック機械学習（actor-critic machine learning）、強化学習など）によってなど画像処理を向上させるために、関心領域がアップサンプリングされてアップサンプリングされた関心領域を発生させることができ、画像認識がアップサンプリングされた関心領域に対して実行されて車室乗客領域内の物品を識別し得る。
ブロック704において、識別された物品および乗客識別子によって識別された乗客との関連付けが行われる。関連付けは、車室内の乗客場所への物品の近接性に基づくことができる。別の例では、関連付けは、乗客と並置された起点を有する追跡データに基づくことができる。一般に、乗客識別子は、上記で論じられたように提供されることが可能である。また、虹彩認識データ、指紋認識データ、顔認識データ、声認識データなどのような生体識別は、車両への進入時に乗客から感知または受信され得る。さらに、ブロックチェーンアーキテクチャまたは技術を通じた検証に基づいて、他の形式の乗客識別子が使用され得る。他の識別データは、乗客のハンドヘルドモバイルデバイスを介して受信されることが可能である。
ブロック706において、車室品目データベースは、乗客識別子に関連付けられた識別された物品に基づくエントリを用いて更新されることが可能である。このようにして、複数の乗客について車室乗客領域内で識別された物品に関連するものとして、ほぼリアルタイムの品目が生成されることが可能である。運転者および／または操作者の物品は、運転者に関連する領域の性質（運転者の座席のような）、ならびに時間にわたって車両内に存在するとして一貫して識別される物品（トラベルマグ、ハンドヘルドモバイルデバイスなどのような）のために除外されることが可能である。
ブロック708において、方法は、乗客退出イベントが発生するかどうかを決定する。カメラデバイス120およびカメラデバイス122のような車両センサデバイスは、車両の周囲状態、ならびに車室102の内部状態を監視するためのデバイスをさらに含むことができる。例えば、車両センサデバイスは、乗客退出および／または進入イベントに関連する車両ドアセンサデータを提供することができるドア作動センサデバイス、ならびに乗客退出および／または進入イベントを示すこともできる乗客座席センサデータを提供することができる乗客座席センサデバイスを含むことができる。車両センサデバイスの他の例は、車両ロックセンサデータを介して車両ドアのロック状態を示すことができる車両ロックセンサデバイス、ならびに退出および／または進入イベントを示す目的地到着データを生成することができる全地球測位システム（Global Positioning System, GPS）デバイスを含むことができる。ブロック710において、車室乗客領域内の識別された物品の継続的な存在。
ブロック712において、メッセージデータが生成され、退出イベントの時点での車室乗客領域内の識別された物品の存在に基づく検出された物品に関連するデータベースエントリを含む。認識され得るように、メッセージデータは、車両スピーカ、車両ディスプレイなどのようなアナウンスデバイスを介して口頭でアナウンスされることが可能である。加えて、またはその代わりに、メッセージデータは、ハンドヘルドモバイルデバイスによる受信のために、乗客識別子に基づいてテキストメッセージを送信することによってアナウンスされることが可能であり、ハンドヘルドモバイルデバイスのクライアントアプリケーションによる受信のために、乗客識別子に基づいてメッセージデータを送信することによってアナウンスされることが可能であり、かつ／またはユーザデバイスによる受信のために、乗客識別子に基づいてメッセージデータをユニバーサル・リソース・ロケータ（URL）リンクとして送信することによってアナウンスされることが可能である。この点で、モバイルハンドヘルドデバイスは、置き忘れられた物品、および物品を回収するか、または回収するための手配を行う機会を乗客に知らせるために、ウェブサイトに案内されることが可能である。
賃借移動の状況において乗客関連物品の紛失を軽減する方法は、識別された物品を乗客識別子によって識別された乗客に関連付けるための手段と、乗客識別子に関連付けられた識別された物品に基づくエントリを用いて車室品目データベースを更新するための手段と、乗客退出イベントが発生したときに車室乗客領域内の識別された物品の存在を検出するための手段と、車室乗客領域内の識別された物品の存在に基づいて、検出された物品に関連するエントリを含むメッセージデータを生成するための手段とを含む。
命令を含むメモリ手段と、メモリに結合されたプロセッサ手段とを含む物品の車載追跡のための車両制御ユニットであって、プロセッサ手段は、プロセッサ手段に車室乗客領域内の物品を識別させ、識別された物品を乗客識別子によって識別された乗客に関連付けさせ、乗客識別子に関連付けられた識別された物品を含むエントリを用いて車室品目データベースを更新させ、乗客退出イベントが発生したときに車室乗客領域内の識別された物品の存在を検出させ、車室乗客領域内の識別された物品の存在に基づいて、検出された物品に関連するエントリを有するメッセージデータを生成させる、メモリ手段に記憶された命令を実行するように構成される。
乗客関連物品の紛失を軽減する方法であって、画像認識を介して、車室乗客領域内の物品を乗客関連物品として識別するための手段と、識別された物品が乗客関連物品であるとき、識別された物品を乗客識別子によって識別された乗客に関連付けるための手段と、乗客識別子および乗客関連物品に関連付けられた車室品目データベースエントリを更新するための手段と、乗客退出イベントが発生したときに車室乗客領域内の乗客関連物品の存在を検出するための手段と、車室乗客領域内の乗客関連物品の存在に基づいて、かつ車室品目データベースに基づいて、検出された物品に関連するメッセージデータを生成するための手段と、乗客識別子によって識別された乗客に警告するためにメッセージデータを送信するための手段とを含む。
第1の構成要素は、第1の構成要素と第2の構成要素の間のライン、トレース、または別の媒体を除いて、介在する構成要素がないとき、第2の構成要素に直接結合される。第1の構成要素は、第1の構成要素と第2の構成要素の間にライン、トレース、または別の媒体以外の介在する構成要素があるとき、第2の構成要素に間接結合される。用語「結合された」およびその変形は、直接結合と間接結合の両方を含む。用語「約」の使用は、特に明記しない限り、後続の数値の±10％を含む範囲を意味する。
本開示ではいくつかの実施形態が提供されているが、開示されたシステムおよび方法は、本開示の思想または範囲から逸脱することなく、多くの他の特定の形式で具現化され得ることが理解され得る。本例示は、限定的ではなく例示的であると見なされるべきであり、その意図は、ここに与えられた詳細に限定されるべきではない。例えば、様々な要素または構成要素は、別のシステムに組み合わされるか、もしくは統合されてもよく、またはある特徴が省略されるか、もしくは実現されなくてもよい。
加えて、様々な実施形態において個別または別個として説明および例示された技術、システム、サブシステム、および方法は、本開示の範囲から逸脱することなく、他のシステム、構成要素、技術、または方法と組み合わされるか、もしくは統合されてもよい。結合されたとして表され、または論じられている他の物品は、互いに接続されていてもよく、電気的、機械的、または他のやり方で何らかのインターフェース、デバイス、または中間構成要素を通じて間接結合または通信し得る。変更、置換、および代替の他の例は、この技術分野の当業者によって確認可能であり、ここに開示されている思想および範囲から逸脱することなく行われ得る。
100 車両
102 車室
110 車両制御ユニット
112 アンテナ
114 車室品目データベースエントリ
118 ネットワーククラウド
120 カメラデバイス
121 カメラデバイス
122 カメラデバイス
123 カメラデバイス
124 車室乗客領域
126 車室乗客領域
127 車室乗客領域
128 電力／データバス
130 物品
133 第三者サーバ
140 無線通信
142 無線通信
144 無線通信
148 乗客識別子
150 車室品目データベース
151 連絡先データ
152 受信データ
160 メッセージデータ
162 乗客
164 アナウンスデバイス
172 車両ドアセンサデバイス
174 車両ドアセンサデバイス
176 車両ドアセンサデバイス
202 側方ビュー画像
206 最上列領域
208 関心領域
210 アップサンプリングされた関心領域
236 ハンドヘルドモバイルデバイス
300 畳み込みニューラルネットワーク
302 畳み込み層
304 プーリング層
306 完全接続ニューラルネットワーク層
310 出力
312 プールされた出力
314 検出層
316 コントローラ
318 アップサンプリング
320 検出
322 フィルタ
324 アップサンプリングされた出力
326 アップサンプリングされたプールされた出力
402 通信インターフェース
404 プロセッサ
406 メモリ
408 バス
412 車両ネットワーク
450 ローカル車室品目データベース
500 受動的検出動作モード
510 オフライン構成要素
560 オンライン構成要素
562 乗客進入イベント
576 乗客退出イベント
600 能動的検出動作モード
700 方法

Claims (20)

  1. 賃借移動の状況において乗客関連物品の紛失を軽減する方法であって、
    車室乗客領域内の物品を識別するステップと、
    前記識別された物品を乗客識別子によって識別された乗客に関連付けるステップと、
    前記乗客識別子に関連付けられた前記識別された物品に基づくデータベースエントリを用いて車室品目データベースを更新するステップと、
    乗客退出イベントの発生に応じて、前記車室乗客領域内の前記識別された物品の存在を検出するステップと、
    前記車室乗客領域内の前記識別された物品の存在に基づいて、前記識別された物品に関連するエントリを含むメッセージデータを生成するステップと、
    を含む方法。
  2. 前記物品を識別するステップは、
    前記車室乗客領域の画像をキャプチャするステップと、
    前記画像の関心領域を識別するステップであって、前記関心領域は、前記車室乗客領域に関連する検出信頼性計量に基づく、ステップと、
    前記関心領域をアップサンプリングしてアップサンプリングされた関心領域を発生させるステップであって、前記アップサンプリングされた関心領域は、画像認識を促進するためのものである、ステップと、
    前記画像の前記アップサンプリングされた関心領域の画像認識を実行して前記車室乗客領域内の物品を識別するステップと、
    を含む、請求項1に記載の方法。
  3. 前記車室乗客領域の画像をキャプチャするステップは、乗客進入イベント時に発生する、請求項2に記載の方法。
  4. 前記車室乗客領域内の物品を識別するステップは、前記識別された物品を乗客関連物品として検証するステップを含む、請求項1に記載の方法。
  5. アナウンスデバイスを介して前記メッセージデータを口頭でアナウンスするステップをさらに含む、請求項1に記載の方法。
  6. 前記メッセージデータをアナウンスするステップをさらに含む、請求項1に記載の方法。
  7. 前記メッセージデータをアナウンスするステップは、
    ハンドヘルドモバイルデバイスによる受信のために、前記乗客識別子に基づいてテキストメッセージを送信するステップ、
    前記ハンドヘルドモバイルデバイスのクライアントアプリケーションによる受信のために、前記乗客識別子に基づいて前記メッセージデータを送信するステップ、または
    ユーザデバイスによる受信のために、前記乗客識別子に基づいて前記メッセージデータをユニバーサル・リソース・ロケータ（URL）リンクとして送信するステップ
    の少なくとも1つを含む、請求項6に記載の方法。
  8. 前記乗客退出イベントは、
    カメラデバイスデータ、または
    車両ドアセンサデータ
    の少なくとも1つに基づく、請求項1に記載の方法。
  9. 物品の車載追跡のための車両制御ユニットであって、
    命令を含むメモリと、
    前記メモリに結合され、前記メモリに記憶された命令を実行するように構成されたプロセッサと、を含み、前記命令は、
    複数の車室乗客領域内の物品を識別し、
    前記識別された物品を乗客識別子によって識別された乗客に関連付け、
    前記乗客識別子に関連付けられた前記識別された物品を含むエントリを用いて車室品目データベースを更新し、
    乗客退出イベントの発生に応じて、前記複数の車室乗客領域内の前記識別された物品の存在を検出し、
    前記複数の車室乗客領域内の前記識別された物品の存在に基づいて、前記識別された物品に関連するエントリを有するメッセージデータを生成する
    ことを前記プロセッサに実行させる、車両制御ユニット。
  10. 前記複数の車室乗客領域のうちの車室乗客領域の画像をキャプチャし、
    前記画像の関心領域を識別し、前記関心領域は、前記複数の車室乗客領域のうちの車室乗客領域に関連する検出信頼性計量に基づき、
    前記関心領域をアップサンプリングしてアップサンプリングされた関心領域を発生させ、前記アップサンプリングされた関心領域は、画像認識を促進するためのものであり、
    前記画像の前記アップサンプリングされた関心領域の画像認識を実行して前記車室乗客領域内の物品を識別する
    ことによって前記プロセッサに前記物品を識別させるための、メモリに記憶されたさらなる命令を含む、請求項9に記載の車両制御ユニット。
  11. 前記複数の車室乗客領域内の物品を識別することは、前記識別された物品を乗客関連物品として検証することを含む、請求項9に記載の車両制御ユニット。
  12. ユーザインターフェースを介して前記メッセージデータを口頭でアナウンスすることを前記プロセッサに実行させるための、メモリに記憶されたさらなる命令を含む、請求項9に記載の車両制御ユニット。
  13. ハンドヘルドモバイルデバイスによる受信のための、前記乗客識別子に基づくテキストメッセージ、
    前記ハンドヘルドモバイルデバイスのクライアントアプリケーションによる受信のための、前記乗客識別子に基づくクライアントアプリケーション、または
    ユーザデバイスによる受信のための、ユニバーサル・リソース・ロケータ（URL）リンク
    の少なくとも1つによって前記プロセッサに前記メッセージデータを送信させるための、メモリに記憶されたさらなる命令を含む、請求項9に記載の車両制御ユニット。
  14. 前記乗客退出イベントは、
    カメラデバイスデータ、または
    車両ドアセンサデータ
    の少なくとも1つに基づく、請求項9に記載の車両制御ユニット。
  15. 前記乗客識別子は、
    ユーザ名、
    国際モバイル機器識別（IMEI）番号、または
    電子シリアル番号（ESN）
    の少なくとも1つを含む、請求項9に記載の車両制御ユニット。
  16. 乗客関連物品の紛失を軽減する方法であって、
    画像認識を介して、車室乗客領域内の物品を乗客関連物品として識別するステップと、
    前記物品が乗客関連物品であるとき、前記物品を乗客識別子によって識別された乗客に関連付けるステップと、
    前記乗客識別子および前記乗客関連物品を用いて車室品目データベースエントリを更新するステップと、
    乗客退出イベントの発生に応じて、前記車室乗客領域内の前記乗客関連物品の存在を検出するステップと、
    前記車室乗客領域内の前記乗客関連物品の存在に基づいて、かつ前記車室品目データベースエントリに基づいてメッセージデータを生成するステップと、
    前記乗客識別子によって識別された乗客に警告するために前記メッセージデータを送信するステップと、
    を含む方法。
  17. 前記物品を識別するステップは、
    前記車室乗客領域の画像をキャプチャするステップと、
    前記画像の関心領域を識別するステップであって、前記関心領域は、前記車室乗客領域に関連する検出信頼性計量に基づく、ステップと、
    前記関心領域をアップサンプリングしてアップサンプリングされた関心領域を発生させるステップであって、前記アップサンプリングされた関心領域は、画像認識を促進するための強化された着目部分を提供する、ステップと、
    前記画像の前記アップサンプリングされた関心領域の前記画像認識を実行して前記車室乗客領域内の物品を識別するステップと、
    を含む、請求項16に記載の方法。
  18. 前記メッセージデータを送信するステップは、
    ハンドヘルドモバイルデバイスによる受信のために、前記乗客識別子に基づいてテキストメッセージを送信するステップ、
    前記ハンドヘルドモバイルデバイスのクライアントアプリケーションによる受信のために、前記乗客識別子に基づいて前記メッセージデータを送信するステップ、または
    ユーザデバイスによる受信のために、前記乗客識別子に基づいて前記メッセージデータをユニバーサル・リソース・ロケータ（URL）リンクとして送信するステップ
    の少なくとも1つを含む、請求項16に記載の方法。
  19. 前記乗客退出イベントは、
    カメラデバイスデータ、または
    車両ドアセンサデータ
    の少なくとも1つに基づく、請求項16に記載の方法。
  20. 前記乗客識別子は、
    ユーザ名、
    国際モバイル機器識別（IMEI）番号、または
    電子シリアル番号（ESN）
    の少なくとも1つを含む、請求項16に記載の方法。
JP2022177555A 2018-03-29 2022-11-04 乗客関連物品の紛失軽減 Pending JP2023017925A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/939,984 2018-03-29
US15/939,984 US10311704B1 (en) 2018-03-29 2018-03-29 Passenger-related item loss mitigation
JP2020552390A JP7366921B2 (ja) 2018-03-29 2019-01-24 乗客関連物品の紛失軽減

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2020552390A Division JP7366921B2 (ja) 2018-03-29 2019-01-24 乗客関連物品の紛失軽減

Publications (1)

Publication Number Publication Date
JP2023017925A true JP2023017925A (ja) 2023-02-07

Family

ID=66673342

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2020552390A Active JP7366921B2 (ja) 2018-03-29 2019-01-24 乗客関連物品の紛失軽減
JP2022177555A Pending JP2023017925A (ja) 2018-03-29 2022-11-04 乗客関連物品の紛失軽減

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2020552390A Active JP7366921B2 (ja) 2018-03-29 2019-01-24 乗客関連物品の紛失軽減

Country Status (7)

Country Link
US (2) US10311704B1 (ja)
EP (1) EP3766056A4 (ja)
JP (2) JP7366921B2 (ja)
KR (2) KR20230125091A (ja)
CN (2) CN115439831A (ja)
MX (1) MX2020010170A (ja)
WO (1) WO2019184573A1 (ja)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11493348B2 (en) 2017-06-23 2022-11-08 Direct Current Capital LLC Methods for executing autonomous rideshare requests
DE112018004053T5 (de) * 2017-08-10 2020-04-23 Sumitomo Electric Industries, Ltd. Steuervorrichtung, Steuerverfahren und Computerprogramm
US11106927B2 (en) * 2017-12-27 2021-08-31 Direct Current Capital LLC Method for monitoring an interior state of an autonomous vehicle
US10311704B1 (en) * 2018-03-29 2019-06-04 Futurewei Technologies, Inc. Passenger-related item loss mitigation
EP3594860B1 (en) * 2018-07-09 2024-05-08 Tata Consultancy Services Limited Sparse neural network based anomaly detection in multi-dimensional time series
US11295148B2 (en) * 2019-09-24 2022-04-05 Ford Global Technologies, Llc Systems and methods of preventing removal of items from vehicles by improper parties
US11111895B2 (en) 2019-10-16 2021-09-07 GM Cruise Holdings, LLC Safely initiating an autonomous vehicle ride
US11485383B2 (en) 2019-12-06 2022-11-01 Robert Bosch Gmbh System and method for detecting and mitigating an unsafe condition in a vehicle
US11393225B2 (en) 2019-12-06 2022-07-19 Robert Bosch Gmbh System and method for detecting abnormal settling of passengers in a vehicle
JP7055785B2 (ja) 2019-12-18 2022-04-18 矢崎総業株式会社 車載装置
CN111982372A (zh) * 2020-07-09 2020-11-24 深圳市元征科技股份有限公司 车辆遗落物品检测方法、车载设备及计算机存储介质
CN112036303A (zh) * 2020-08-31 2020-12-04 上海商汤临港智能科技有限公司 遗留物品的提醒方法及装置、电子设备和存储介质
CN112435154B (zh) * 2020-12-11 2024-03-19 山西省信息产业技术研究院有限公司 轨道交通运营阶段综合信息监管系统
US11763660B2 (en) * 2021-02-04 2023-09-19 Aurora Flight Sciences Corporation Monitoring an environment for objects left by individuals
CN114005103A (zh) * 2021-10-29 2022-02-01 上海商汤临港智能科技有限公司 关联车内的人和物的方法及装置、电子设备和存储介质
US20230306754A1 (en) * 2022-03-28 2023-09-28 Gm Cruise Holdings Llc Lost object tracking system
CN114863669B (zh) * 2022-04-29 2023-04-25 湖南喜宝达信息科技有限公司 一种共享车辆及其车筐遗留物件的监控方法、存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009037622A (ja) * 2007-08-03 2009-02-19 Harman Becker Automotive Systems Gmbh 画像を評価するための方法および装置
JP2012123491A (ja) * 2010-12-06 2012-06-28 Fujitsu Ten Ltd 車載装置および忘れ物確認サービス
JP2015023459A (ja) * 2013-07-19 2015-02-02 株式会社ニコン 投影システム
US20170098364A1 (en) * 2015-10-02 2017-04-06 Lg Electronics Inc. Apparatus, method and mobile terminal for providing object loss prevention service in vehicle

Family Cites Families (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2691813B1 (fr) * 1992-05-26 1997-12-19 Thomson Csf Systeme pour l'identification et la detection automatique de vehicules ou d'objets.
WO2002047942A2 (en) 2000-11-16 2002-06-20 Donnelly Corporation Vehicle compartment occupancy detection system
WO2003093857A2 (en) 2002-05-03 2003-11-13 Donnelly Corporation Object detection system for vehicle
US7720580B2 (en) 2004-12-23 2010-05-18 Donnelly Corporation Object detection system for vehicle
JP2006338535A (ja) 2005-06-03 2006-12-14 Matsushita Electric Ind Co Ltd 車内忘れ物防止方法及び装置
JP2008262459A (ja) 2007-04-13 2008-10-30 Fujitsu Ten Ltd 置き忘れ報知装置
CN101587627A (zh) * 2008-05-23 2009-11-25 林国朋 物品防落下语音提醒器
JP2010182189A (ja) 2009-02-06 2010-08-19 Pioneer Electronic Corp 情報出力装置、情報出力方法、情報出力プログラムおよび記録媒体
DE102009029616A1 (de) * 2009-09-18 2010-03-04 Alexander Holst Computergestütztes System zum Wiederfinden von Gegenständen
CN101937609A (zh) 2010-09-20 2011-01-05 奇瑞汽车股份有限公司 一种提醒乘客物品遗失的方法及装置
WO2013101057A1 (en) * 2011-12-29 2013-07-04 Intel Corporation Object recognition and notification
CN103839090A (zh) * 2012-11-26 2014-06-04 张龙斌 二维码标签管理方法及系统
CN103856501B (zh) * 2012-11-29 2017-07-18 上海贝尔软件有限公司 一种利用无线通信网络的公共交通记录跟踪系统
CN102982170A (zh) * 2012-12-14 2013-03-20 上海斐讯数据通信技术有限公司 失物追踪系统及方法
US9123244B2 (en) * 2013-03-15 2015-09-01 Denso International America, Inc. Vehicle tracking of personal devices with response system
CN103310597A (zh) * 2013-06-08 2013-09-18 安徽工程大学 出租车乘客物品防丢提示系统
US9327645B2 (en) * 2013-08-28 2016-05-03 Harman International Industries, Incorporated Providing alerts for objects left in a vehicle
JP6146228B2 (ja) 2013-09-17 2017-06-14 株式会社Ｓｏｋｅｎ 物体検知装置及び物体検知システム
US9616773B2 (en) * 2015-05-11 2017-04-11 Uber Technologies, Inc. Detecting objects within a vehicle in connection with a service
US9734699B2 (en) * 2015-06-05 2017-08-15 GM Global Technology Operations LLC System for providing alerts to vehicle occupants
KR20170064880A (ko) 2015-12-02 2017-06-12 엘지전자 주식회사 차량 내 영상기록장치 및 그것의 제어 방법
CN205486689U (zh) 2015-12-30 2016-08-17 江苏穿越金点信息科技有限公司 公交车内遗留物智能监测报警系统
JP6909960B2 (ja) * 2017-03-31 2021-07-28 パナソニックＩｐマネジメント株式会社 検知装置、検知方法及び検知プログラム
CN206653958U (zh) * 2017-04-12 2017-11-21 济南大学 一种带储物功能且能提醒乘客带行李的公交车座椅
US10303961B1 (en) * 2017-04-13 2019-05-28 Zoox, Inc. Object detection and passenger notification
CN107403159A (zh) * 2017-07-28 2017-11-28 北京中航安通科技有限公司 一种目标物品关联、核验及票务核验方法及其装置
US10636276B2 (en) * 2017-08-17 2020-04-28 Manish Desai Cabin activity detection device
US20190095714A1 (en) * 2017-09-28 2019-03-28 Panasonic Automotive Systems Company Of America, Division Of Panasonic Corporation Of North America Vehicle interior lidar detection systems
US11106927B2 (en) * 2017-12-27 2021-08-31 Direct Current Capital LLC Method for monitoring an interior state of an autonomous vehicle
US10127795B1 (en) * 2017-12-31 2018-11-13 Lyft, Inc. Detecting and handling material left in vehicles by transportation requestors
JP6662935B2 (ja) * 2018-03-09 2020-03-11 本田技研工業株式会社 車両制御装置、車両制御方法、およびプログラム
JP2019168815A (ja) * 2018-03-22 2019-10-03 東芝メモリ株式会社 情報処理装置、情報処理方法、及び情報処理プログラム
US10311704B1 (en) * 2018-03-29 2019-06-04 Futurewei Technologies, Inc. Passenger-related item loss mitigation
JP2020004252A (ja) * 2018-06-29 2020-01-09 株式会社東芝 残留物検出システム
US10515535B1 (en) * 2018-08-24 2019-12-24 General Motors Llc System and method to provide a misplacement notification
CN112805761B (zh) * 2018-09-27 2024-03-08 三菱电机株式会社 遗留检测装置和遗留检测方法
WO2020128921A1 (en) * 2018-12-20 2020-06-25 Gentex Corporation Systems and methods for ride share monitoring
US10796174B2 (en) * 2018-12-21 2020-10-06 Nissan North America, Inc. Distance and object based external notification system for automated hailing service

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009037622A (ja) * 2007-08-03 2009-02-19 Harman Becker Automotive Systems Gmbh 画像を評価するための方法および装置
JP2012123491A (ja) * 2010-12-06 2012-06-28 Fujitsu Ten Ltd 車載装置および忘れ物確認サービス
JP2015023459A (ja) * 2013-07-19 2015-02-02 株式会社ニコン 投影システム
US20170098364A1 (en) * 2015-10-02 2017-04-06 Lg Electronics Inc. Apparatus, method and mobile terminal for providing object loss prevention service in vehicle

Also Published As

Publication number Publication date
US20200380848A1 (en) 2020-12-03
MX2020010170A (es) 2020-10-28
JP7366921B2 (ja) 2023-10-23
EP3766056A1 (en) 2021-01-20
WO2019184573A1 (en) 2019-10-03
KR20230125091A (ko) 2023-08-28
US11776083B2 (en) 2023-10-03
JP2021517320A (ja) 2021-07-15
CN115439831A (zh) 2022-12-06
CN111937050B (zh) 2022-05-31
US10311704B1 (en) 2019-06-04
EP3766056A4 (en) 2021-05-05
KR20200133385A (ko) 2020-11-27
CN111937050A (zh) 2020-11-13

Similar Documents

Publication Publication Date Title
JP7366921B2 (ja) 乗客関連物品の紛失軽減
Ma et al. A survey on deep learning empowered IoT applications
Eraqi et al. Driver distraction identification with an ensemble of convolutional neural networks
Liang et al. Edge YOLO: Real-time intelligent object detection system based on edge-cloud cooperation in autonomous vehicles
CN111587437B (zh) 使用视频管的活动识别方法
Fridman et al. ‘Owl’and ‘Lizard’: Patterns of head pose and eye pose in driver gaze classification
EP3589521B1 (en) Systems and methods for operating a vehicle based on sensor data
WO2021189641A1 (zh) 遗留对象检测
CN111652114B (zh) 一种对象检测方法、装置、电子设备及存储介质
JP2022521038A (ja) 顔認識方法、ニューラルネットワークのトレーニング方法、装置及び電子機器
CN112204612A (zh) 用于由车辆先验信息引导的基于视觉的车辆内部环境感测的方法和系统
US11914745B2 (en) Personally identifiable information in encrypted data streams
JP2023539250A (ja) 遺失物の通知方法、装置、電子機器、記憶媒体及びコンピュータプログラム
US11783636B2 (en) System and method for detecting abnormal passenger behavior in autonomous vehicles
US11572039B2 (en) Confirmed automated access to portions of vehicles
Julius Fusic et al. Scene terrain classification for autonomous vehicle navigation based on semantic segmentation method
US20200160059A1 (en) Methods and apparatuses for future trajectory forecast
US20230153424A1 (en) Systems and methods for an automous security system
US20230264583A1 (en) Vehicle recognition for automatic charge management
Wang et al. Model Lightweighting for Real‐time Distraction Detection on Resource‐Limited Devices
CN111401030B (zh) 服务异常识别方法、装置、服务器及可读存储介质
Antonov et al. Digital Assistant to Operator
Sankar et al. Intelligent Door Assist system using Chatbot and Facial Recognition
Tu et al. Deep passenger state monitoring using viewpoint warping
Sengar et al. PoseViNet: Distracted Driver Action Recognition Framework Using Multi-View Pose Estimation and Vision Transformer

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221205

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221205

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230428

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230508

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230808

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20231120