CN111937050A - 乘客相关物品丢失减少 - Google Patents

乘客相关物品丢失减少 Download PDF

Info

Publication number
CN111937050A
CN111937050A CN201980023787.4A CN201980023787A CN111937050A CN 111937050 A CN111937050 A CN 111937050A CN 201980023787 A CN201980023787 A CN 201980023787A CN 111937050 A CN111937050 A CN 111937050A
Authority
CN
China
Prior art keywords
passenger
item
vehicle
vehicle cabin
identified
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201980023787.4A
Other languages
English (en)
Other versions
CN111937050B (zh
Inventor
徐启杰
法提赫·波里克利
沈骏强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN202210602359.0A priority Critical patent/CN115439831A/zh
Publication of CN111937050A publication Critical patent/CN111937050A/zh
Application granted granted Critical
Publication of CN111937050B publication Critical patent/CN111937050B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/40—Business processes related to the transportation industry
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/955—Retrieval from the web using information identifiers, e.g. uniform resource locators [URL]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24143—Distances to neighbourhood prototypes, e.g. restricted Coulomb energy networks [RCEN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19639—Details of the system layout
    • G08B13/19647—Systems specially adapted for intrusion detection in or around a vehicle
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18—Status alarms
    • G08B21/24—Reminder alarms, e.g. anti-loss alarms
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B29/00—Checking or monitoring of signalling or alarm systems; Prevention or correction of operating errors, e.g. preventing unauthorised operation
    • G08B29/18—Prevention or correction of operating errors
    • G08B29/185—Signal analysis techniques for reducing or preventing false alarms or for enhancing the reliability of the system
    • G08B29/186—Fuzzy logic; neural networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/02—Details
    • H04L12/16—Arrangements for providing special services to substations
    • H04L12/18—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast
    • H04L12/1895—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast for short real-time information, e.g. alarms, notifications, alerts, updates
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/04—Real-time or near real-time messaging, e.g. instant messaging [IM]
    • H04L51/046—Interoperability with other network applications or services
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8006—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying scenes of vehicle interior, e.g. for monitoring passengers or cargo
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30268—Vehicle interior
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/58—Message adaptation for wireless communication

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Business, Economics & Management (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Emergency Management (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Molecular Biology (AREA)
  • Tourism & Hospitality (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Biomedical Technology (AREA)
  • General Business, Economics & Management (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Security & Cryptography (AREA)
  • Mathematical Physics (AREA)
  • Fuzzy Systems (AREA)

Abstract

公开了一种用于在租用旅行环境中减少乘客相关物品丢失的方法和设备。识别车辆乘客区域(124)内的物品(130)，并将所述识别的物品(130)与通过乘客(162)标识符识别的乘客相关联。基于与所述乘客标识符相关联的所述识别的物品(130)，用条目更新车辆客舱库存数据库。当乘客离开事件发生时，在所述车辆客舱乘客区域(124)内检测所述识别的物品(130)，并基于所述车辆客舱乘客区域内的所述识别的物品(130)生成消息数据，所述消息数据包括与所述识别的物品(130)相关的所述条目。

Description

乘客相关物品丢失减少
相关申请案的交叉引用
本申请要求2018年3月29日提交美国专利局、申请号为15/939,984、发明名称为“乘客相关物品丢失减少”的美国专利申请的优先权，其全部内容通过引用结合在本申请中。
背景技术
通常，各种计算机设备为不同环境中的物体识别提供了一个平台。对于车辆设备，物体识别已经在自主应用程序中实现，其中车辆可以使用车辆传感器设备来感测和避开交通环境中的物体。此外，在车辆驾驶舱内，车辆传感器设备已用于增强驾驶员的操作，例如眼睛跟踪技术用于评估驾驶员对车辆用户界面(如音乐控制、照明、环境控制等)的注意力并调整或呈现基于过去驱动程序偏好的不同图形用户界面。
随着处理能力和传感器设备灵敏度的提高，可以实现其它此类应用程序，以供汽车驾驶舱环境使用。
发明内容
在一个实施例中，本公开包括一种在租用旅行环境中减少乘客相关物品丢失的方法。所述方法包括：识别车辆客舱乘客区域内的物品；将所述识别的物品与通过乘客标识符识别的乘客相关联；基于与所述乘客标识符相关联的所述识别的物品，用条目更新车辆客舱库存数据库；当发生乘客离开事件时，在所述车辆客舱乘客区域内检测所述识别的物品；基于所述车辆客舱乘客区域内的所述识别的物品生成消息数据，所述消息数据包括与所述识别的物品相关的条目。
可选地，在上述任一方面中，所述方面的另一实现方式规定识别所述物品包括：采集所述车辆客舱乘客区域的图像；识别所述图像的感兴趣区域，所述感兴趣区域基于与所述车辆客舱区域相关的检测置信度度量；对所述感兴趣区域进行上采样以产生上采样感兴趣区域，所述上采样感兴趣区域用于促进图像识别；对所述图像的所述上采样感兴趣区域进行图像识别，以在所述车辆客舱乘客区域内识别所述物品。可选地，在上述任一方面中，所述方面的另一实现方式规定采集所述车辆客舱乘客区域的图像发生在乘客进入事件时。可选地，在上述任一方面中，所述方面的另一实现方式规定识别所述车辆客舱乘客区域内的所述物品包括将所述识别的物品验证为所述乘客相关物品。可选地，在上述任一方面中，所述方面的另一实现方式还规定通过通告设备口头通告所述消息数据。可选地，在上述任一方面中，所述方面的另一实现方式规定通告所述消息数据。可选地，在上述任一方面中，所述方面的另一实现方式规定通告所述消息数据包括以下操作中的至少一种：基于所述乘客标识符传输文本消息，以供手持移动设备接收；基于所述乘客标识符传输所述消息数据，以供所述手持移动设备的客户端应用程序接收；或基于所述乘客标识符传输所述消息数据作为通用资源定位符(universal resource locator，URL)链接，以供用户设备接收。可选地，在上述任一方面中，所述方面的另一实现方式规定所述乘客离开事件基于以下至少一种：摄像头设备数据，或车门传感器数据。
在一个实施例中，本公开包括车辆控制单元，用于物品的车载跟踪。所述车辆控制单元包括存储器和处理器，所述存储器包含指令，所述处理器耦合到所述存储器，所述处理器用于执行存储在所述存储器中的所述指令，以使所述处理器：识别多个车辆客舱乘客区域内的物品；将所述识别的物品与通过乘客标识符识别的乘客相关联；用包括与所述乘客标识符相关联的所述识别的物品的条目更新车辆客舱库存数据库；当发生乘客离开事件时，在所述多个车辆客舱乘客区域内检测所述识别的物品；基于所述多个车辆客舱乘客区域内的所述识别的物品生成消息数据，所述消息数据具有与所述识别的物品相关的条目。
可选地，在上述任一方面中，所述方面的另一实现方式提供存储在存储器中的其它指令，以使所述处理器通过以下操作识别所述物品：采集所述多个车辆客舱乘客区域中的一个车辆客舱乘客区域的图像；识别所述图像的感兴趣区域，其中所述感兴趣区域基于与所述多个车辆客舱乘客区域中的所述车辆客舱乘客区域相关的检测置信度度量；对所述感兴趣区域进行上采样以产生上采样感兴趣区域，所述上采样感兴趣区域用于促进图像识别；对所述图像的所述上采样感兴趣区域进行图像识别，以在所述车辆客舱乘客区域内识别所述物品。可选地，在上述任一方面中，所述方面的另一实现方式规定识别所述多个车辆客舱乘客区域内的所述物品包括将所述识别的物品验证为乘客相关物品。可选地，在上述任一方面中，所述方面的另一实现方式提供存储在存储器中的其它指令，以使所述处理器通过用户界面口头通告所述消息数据。可选地，在上述任一方面中，所述方面的另一实现方式提供存储在存储器中的其它指令，以使所述处理器通过以下中的至少一种传输所述消息数据：基于所述乘客标识符的文本消息，以供手持移动设备接收；基于所述乘客标识符的客户端应用程序，以供所述手持移动设备的客户端应用程序接收；或通用资源定位符(universal resource locator，URL)链接，以供用户设备接收。可选地，在上述任一方面中，所述方面的另一实现方式规定所述乘客离开事件基于以下至少一种：摄像头设备数据；或车门传感器数据。可选地，在上述任一方面中，所述方面的另一实现方式规定所述乘客标识符包括用户名、国际移动设备识别(international mobile equipment identity，IMEI)号码或电子序列号(electronic serial number，ESN)中的至少一种。
在一个实施例中，本公开包括一种减少乘客相关物品丢失的方法，所述方法包括：通过图像识别，将车辆客舱乘客区域内的物品识别为乘客相关物品；当所述物品为所述乘客相关物品时，将所述物品与通过乘客标识符识别的乘客相关联；用所述乘客标识符和所述乘客相关物品更新车辆客舱库存数据库条目；当发生乘客离开事件时，在所述车辆客舱乘客区域内检测所述乘客相关物品；基于所述车辆客舱乘客区域内的所述乘客相关物品，并基于所述车辆客舱库存数据库条目生成消息数据；传输所述消息数据，用于提醒所述通过乘客标识符识别的所述乘客。
可选地，在上述任一方面中，所述方面的另一实现方式规定识别所述物品包括：采集所述车辆客舱乘客区域的图像；识别所述图像的感兴趣区域，其中所述感兴趣区域基于与所述车辆客舱乘客区域相关的检测置信度度量；对所述感兴趣区域进行上采样以产生上采样感兴趣区域，其中所述上采样感兴趣区域提供增强的焦点以促进图像识别；对所述图像的所述上采样感兴趣区域进行图像识别，以在所述车辆客舱乘客区域内识别所述物品。可选地，在上述任一方面中，所述方面的另一实现方式规定传输所述消息数据包括以下操作中的至少一种基于所述乘客标识符传输文本消息，以供手持移动设备接收；基于所述乘客标识符传输所述消息数据，以供所述手持移动设备的客户端应用程序接收；或基于所述乘客标识符传输所述消息数据作为通用资源定位符(universal resource locator，URL)链接，以供用户设备接收。可选地，在上述任一方面中，所述方面的另一实现方式规定所述乘客离开事件基于以下至少一种：摄像头设备数据；或车门传感器数据。可选地，在上述任一方面中，所述方面的另一实现方式规定所述乘客标识符包括用户名、国际移动设备识别(international mobile equipment identity，IMEI)号码或电子序列号(electronicserial number，ESN)中的至少一种。
为了清楚起见，上述任一实施例可以与上述其它实施例中的任意一个或多个实施例结合，在本发明的范围内创建一个新的实施例。
根据以下详细说明结合附图和权利要求将能更清楚地理解这些和其它特征。
附图说明
为了更透彻地理解本公开，现结合附图和具体实施方式，参阅以下简要说明，其中相同的附图标记表示相同的部分。
图1是包括车辆控制单元的车辆的示意图。
图2示出了车辆的摄像头设备采集的车辆客舱的示例侧视图图像。
图3示出了具有上采样的实例以生成感兴趣区域的增强焦点的示例卷积神经网络。
图4是图1的所述车辆控制单元的实施例的示意图。
图5是车辆控制单元的被动检测操作模式的示例功能流程图。
图6是车辆控制单元的主动检测操作模式的示例功能流程图。
图7是用于在租用旅行环境中减少乘客相关物品丢失的方法的实施例的流程图。
具体实施方式
首先应理解，尽管以下提供了一个或多个实施例的说明性实现方式，但所公开的系统和/或方法可以使用任何数量的技术(不论是当前已知的还是现有的)来实现。本发明决不应限于下文所说明的说明性实现方式、附图和技术，包括本文所说明并描述的示例性设计和实现方式，而是可在所附权利要求书的范围以及其等效物的完整范围内修改。
图像处理技术可用于在共享车辆环境或租用车辆环境(例如出租车服务、车辆共享应用程序、共享乘车等)中及时检测物品，乘客可能无意地遗留下个人物品，例如但不限于钱夹、信用卡、钱包、公文包、毛刷、普通口袋物品。车辆可以理解为指运送人的移动机器，例如小汽车、卡车、公共汽车、火车、水上交通工具、飞机。
虽然环境监测可以检测到物品，例如出现在乘客座椅上的未识别的物品，但这种监测无法识别该物品-例如，无法识别该物品是不连续的垃圾或碎片还是对乘客具有内在价值的物品，例如上述个人物品。
一个复杂之处是需要花时间来确定无意地遗留下的物品的所有权。当可以确定所有权时，另一复杂之处则是需要时间和资源来找到该物品并将其归还给正确地所有人，这导致了产生的乘车费用或其它创收活动的损失。
由于准乘客通过他们的智能手机安排乘车越来越容易，因此无意遗留下的物品也会相应地增加，这会给乘客和驾驶员带来不便。在到目的地的旅行过程中，乘客需要拿出个人物品。然而，一旦到达目的地，乘客可能忘记或忽略了在乘车期间取出的物品。此外，有时乘客可能在不知情的情况下无意中从口袋里或钱包里滑出一些东西。较小的物品(例如毛刷、杂志)对乘客来说可能仍然具有内在的便利价值，因为例如查找和再购买此类物品不方便、需要花费时间和费用。这些个人物品是重要的物品，乘客希望及时归还，或者更好的是不要一开始就忘记这些物品。
本文公开了一种用于例如(但不限于)在租用旅行环境中减少乘客相关物品丢失的方法和设备，该方法可识别乘客物品，并可以提供提醒或提示以通知乘客关于在他们离开时留在车辆的所述识别的物品。
图1是包括车辆控制单元110的车辆100的示意图。摄像头设备120、121、122和123以及车门传感器设备172、174和176与车辆控制单元110通信，以实现本公开中的乘客相关物品丢失减少。
通常，当乘客162需要乘坐车辆时，所述乘客162可以访问其手持移动设备236上加载的共享乘车应用程序。手持移动设备236的示例可以包括手机、智能电话、个人数字助理(personal digital assistant，PDA)设备、平板电脑、电子阅读器等。共享乘车应用程序的示例包括服务提供商Uber、Lyft等提供的应用程序。
为了请求租用车辆或共享乘车，所述乘客162具有与所述应用程序服务相关联的帐户配置文件，所述帐户配置文件包括所述乘客联系数据151。例如，所述联系数据151可以包括乘客信息，例如姓名、地址、年龄、成员号码、移动电话、电子邮件地址等。
可以使用乘客标识符148访问所述联系数据151，所述乘客标识符148包括本公开的系统分配给所述乘客162和/或其手持移动设备236的唯一标识符。例如，所述乘客标识符148可以包括所述乘客162的用户名、所述乘客手持移动设备236的国际移动设备识别(international mobile equipment identity，IMEI)号码或电子序列号(electronicserial number，ESN)，和/或与所述乘客162和/或与其手持移动设备236相关的其它唯一标识符。
当所述乘客162通过其手持移动设备236请求乘坐车辆时，通过与网络云118耦合的无线通信144和142将所述乘客标识符148提供给第三方服务器133。作为响应，通过面向驾驶员的应用程序安排车辆100以供所述乘客162乘坐，例如，所述应用程序指定所述乘客162的上车坐标和所述联系数据151。
所述乘客标识符148和所述联系数据151可以通过天线112通过无线通信140传送给所述车辆控制单元110。所述无线通信140通过网络云118延伸到所述无线通信142和144。这种无线通信的范围从国家和/或国际蜂窝电话系统到互联网，到点对点家庭无线网络，再到射频识别(radio frequency identification，RFID)系统。每种类型的通信系统都是按照一种或多种通信标准构建和运行的。例如，无线通信系统可以按照一种或多种标准运行，所述标准包括但不限于第三代合作伙伴计划(3rd Generation Partnership Project，3GPP)、第四代合作伙伴计划(4th Generation Partnership Project，4GPP)、第五代合作伙伴计划(5th Generation Partnership Project，5GPP)、长期演进(long termevolution，LTE)、LTE高级、RFID、电气和电子工程师学会(Institute of Electrical andElectronics Engineers，IEEE)802.11、蓝牙、先进行动电话服务(advanced mobile phoneservices，AMPS)、数字AMPS、全球移动通信(global system for mobile communications，GSM)、码分多址(code division multiple access，CDMA)、本地多点分布系统(localmultipoint distribution system，LMDS)、多信道多点分布系统(multi-channel-multi-point distribution system，MMDS)，和/或其变体。
在所述车辆100的行程期间，所述车辆控制单元110可以用于通过所述摄像头设备120、121、122和123监测车辆客舱102中的物品。可以通过所述车辆控制单元110分配每个摄像头设备120、121、122和123，以监测车辆客舱乘客区域124、126和/或127中的一个或几个区域。此外，所述摄像头设备120、121、122和123中的每一个摄像头设备可以位于所述车辆客舱102内，以采集所述车辆客舱乘客区域124、126和/或127的不同视图，例如侧视图或俯视图。在图1的示例中，所述车辆100呈现为具有至少四个座椅的乘客轿车，所述座椅包括乘客侧前排座椅、乘客侧后排座椅、驾驶员侧后排座椅和位于驾驶员侧前排座椅的驾驶员/操作员座椅。
术语摄像头或摄像头设备在本文中用于表示用于记录或采集图像的任意光学仪器，所述图像可以本地存储在所述设备中、通过电源/数据总线128传输至另一位置(例如所述车辆控制单元110)，或两者。所述图像可以包括单个静止照片，或用于生成视频的图像序列。所述视频可以用所述摄像头或摄像头设备存储在本地，以压缩视频格式传输和/或流式传输到所述车辆控制单元110，所述压缩视频格式例如MPEG-2第二部分、MPEG-4第二部分、H.264(MPEG-4第十部分)、高效视频编码(High Efficiency Video Coding，HEVC)、Theora、RealVideo RV40、VP9、AV1。
在图1的示例中，所述乘客162占用前排乘客座椅，所述前排乘客座椅对应于所述车辆客舱乘客区域124。为清楚说明起见，未示出所述车辆客舱乘客区域124中的在座乘客的图示。所述摄像头设备122位于所述车辆100的门框上，具有所述车辆客舱乘客区域124的侧视场。所述摄像头设备120位于所述车辆100的天花板上，具有所述车辆客舱乘客区域124的顶视场。应注意，所述摄像头设备可以放置在所述车辆客舱102内的任何位置，以采集内部的任何角度和/或区域，从而识别乘客物品。
所述摄像头设备120和122可以采集所述车辆客舱102的图像，并生成数据152，所述车辆控制单元110可以利用所述数据152来确定物品(例如位于所述车辆客舱乘客区域124内的物品130)的标识。一旦识别了所述物品，所述车辆控制单元110用于将所述识别的物品(例如所述物品130)与通过所述乘客标识符148识别的所述乘客162相关联，并用于基于所述识别的物品130用车辆客舱库存数据库条目114更新车辆客舱库存数据库150。所述车辆控制单元110基于所述乘客162和所述物品130的位置、重合时间，将所述物品130与所述乘客162相关联。例如，基于图像时间戳、支付时间戳、预定上车时间等确定的乘客与租用车辆重合的时间。当所述物品130出现时，与所述物品重合的时间可以视为对应于所述车辆100中乘客存在的时间。
此外，每个摄像头设备120、121、122和123可以在可见和/或非可见光谱下工作，从而可以在所述车辆客舱102内有利和/或不利的照明条件下采集所述车辆客舱乘客区域124、126和/或127的图像。
车门传感器设备172、174和176用于感测乘客离开和/或进入事件。在图1的示例中，所述车门传感器设备172、174和176中的每一个设备分别对应所述车辆客舱乘客区域124、126和127。所述乘客离开和/或进入事件的示例包括：所述车门传感器设备172、174和176感测车辆乘客门闩从闩锁状态转换到未闩锁状态。
例如，当所述车辆100到达乘客上车点时，或者到达目的地时，所述乘客162(或者驾驶员)打开所述车辆100的前乘客门。在感测到所述乘客上车时的乘客进入事件或到达目的地时的离开事件时，本示例中的所述车门传感器设备172可操作以生成指示相应进入和/或离开事件的数据152。所述数据152可以通过所述电源/数据总线128传送给所述车辆控制单元110。
所述摄像头设备120、121、122和123、所述车门传感器设备172、174和176，以及所述车辆控制单元110可以通过电源/数据总线128耦合，所述电源/数据总线128包括车身电子区域网络(Body Electronic Area Network，BEAN)、控制器区域网络(Controller AreaNetwork，CAN)总线配置、汽车以太网局域网(Local Area Network，LAN)汽车LAN配置和/或其它通信系统架构等网络架构的组合，以提供所述车辆100的设备和系统之间的通信。
可以理解的是，在自主车辆中，驾驶员座椅区域(例如，前驾驶员侧座椅)可以提供附加的车辆客舱乘客区域，因此可以进行配置。此外，更少或更多数量的车辆客舱乘客区域可以对应于所述车辆100的模型的座位容量。
在本公开中，通过可由所述车辆控制单元110执行的图像识别处理来识别所述车辆客舱乘客区域124内的所述所述物品130。图像识别处理可以通过机器学习技术实现，本文结合图2和3详细论述了机器学习技术。
当所述车门传感器设备172、174和/或176指示发生了乘客离开事件时，所述车辆控制单元110用于在所述车辆客舱乘客区域124内检测所述识别的物品130，并生成消息数据160。所述消息数据160包括与所述检测到的物品130相关的所述车辆客舱库存数据库条目114，并且还包括所述联系数据151。
所述消息数据160可用于向所述乘客162通知所述已识别物品130遗留在所述车辆100中。所述提示可以通过所述手持移动设备236进行，所述手持移动设备236可以接收文本消息(包括触觉振动、声音提示、视觉图形提示等)，以向所述乘客162提示所述物品130。所述提示还可以通过所述车辆100的通告设备164发出，包括音频和/或视觉提示，以引起所述乘客162对所述物品130的注意。通过这种操作，所述车辆控制单元110减少了乘客相关物品在租用旅行环境中的丢失。
可以理解的是，由于所述物品130的位置可以不是静态的，因此所述车辆控制单元110可以用于在所述车辆100的行进期间连续和/或周期性地监测所述车辆客舱乘客区域124、126和/或127。所述乘客162可以有意和/或无意地移动或处理物品，例如在所述车辆客舱乘客区域124中或在其它车辆客舱乘客区域126和/或127中所述物品130。相应地，所述车辆控制单元110用于在车辆行驶过程中重新识别所述物品130或跟踪所述物品130。
当所述车辆控制单元110周期性地操作时，所述车辆控制单元110可以称为被动检测模式操作，结合图7进行详细描述。当所述车辆控制单元110连续操作时，所述车辆控制单元110可以称为主动检测模式操作，结合图6进行详细描述。可以理解的是，所述被动检测模式操作需要所述车辆控制单元110较少的计算资源和较少的电力，以监测所述车辆客舱乘客区域124、126和/或127，而所述主动检测模式操作需要所述车辆控制单元110的较多计算资源和较大的电力，以监测客舱乘客区124、126和/或127。
图2示出了可由所述车辆100的摄像头设备(例如，图1的所述摄像头设备122)采集的所述车辆客舱102的示例侧视图图像202。图2的透视图用于示出被遮蔽的所述物品130或者可能使图像识别复杂化的不易识别的位置的图像识别的示例。例如，所述物品130可以是车辆客舱乘客区域124中面向下的乘客信用卡，使得所述图像202可以采集边缘透视。图像识别通常基于对图像中边缘边界的检测。例如，信用卡的边缘边界在相对于摄像头设备的不同位置或不同方向上形成一个普通矩形。
对于图像处理，所述图像202可以定义为多个区域206。其中，感兴趣区域208可以定义为具有较高的置信度度量的区域，例如区域206(1，1)、206(2，1)、206(3，1)。在图2的示例中，所述感兴趣区域208形成矩阵块；但是，感兴趣区域可以缩放到更粗或更细的粒度，以提供用于图像处理的可管理块。由于乘客相关物品不绑定到所述车辆客舱乘客区域124内的固定位置，因此图像识别技术可以结合机器学习技术，图3中将详细论述所述图像识别技术。
可以理解的是，可以实现各种图像识别策略来识别车辆客舱乘客区域内的物品。例如，考虑到物品的特定特征，图像识别技术可以是基于外观的，可以通过解释树来实现(所述解释树是模型匹配的深度优先搜索技术)，可以通过模式或模板来实现(用于较简单的物品的匹配)，或者可以由生物神经网络启发的人工神经网络来实现。
最初使用的是传统的神经网络，但事实证明它们实现起来过于繁琐。随着技术和工艺的发展，卷积神经网络已经发展到利用图像的一般方面，这是邻近度与相似性强相关的原则。例如，在给定图像中彼此接近的两个像素比间隔更远的两个像素更有可能相关。
为了提高神经网络效率，卷积用于消除不太重要的连接，通过按邻近度筛选连接，使得图像处理在计算上变得可管理。卷积神经网络限制连接，使得网络的神经元仅接受给定图像层(例如，3×3×1或5×5×1像素)的小部分的输入。相应地，将所述图像划分为可管理的部分，以提高整体视觉图像识别的处理效率。
在操作中，采集图像202，所述图像202包括分解成所述区域206的所述车辆客舱乘客区域124、126和/或127。所述区域206可以按列/行指定，例如(x，y)。在所述图像202中识别感兴趣区域208，其中所述感兴趣区域208基于检测置信度度量，所述检测置信度度量与所述车辆客舱乘客区域124、126和/或127中的至少一个区域和所述区域206中的一个区域对应。默认情况下，不包括所述车辆客舱乘客区域124、126和/或127的那些区域206(例如，通常与车辆客舱乘客区域不相关的顶行区域206(1，3)、206(2，3)、206(3，3))具有较低或可忽略的置信度度量。在其余区域206中，具有物品的区域相对于未检测到物品的感兴趣区域208具有较高的检测置信度度量。
所述检测置信度度量涉及通过图像识别技术识别的物体被准确识别或可识别的概率或似然。通常，所述检测置信度度量本质上是启发性的，并且可以通过附加的训练数据、反馈数据、真实世界应用程序以及由此产生的对特定图像识别技术的反馈来改进。例如，卷积神经网络可以用于学习梯度下降，其中神经网络的每一层从下面的一层进行馈入以建立分层特征，所述分层特征可以用于以高检测置信度度量来求解(即识别)对象。
关于图像处理，所述卷积神经网络可以通过大量的训练数据参与机器学习。此外，随着时间的推移，所述卷积神经网络在接触以不同视角和/或方向描述物品的不同数据时自学习。反过来，在应用图像识别时，所述检测置信度度量传递变化的像素密度，所述变化的像素密度使得更容易或可能识别多个物品中的一个。
对感兴趣区域208进行上采样以产生上采样的感兴趣区域210，实际上，这是对所述感兴趣区域208进行进一步的像素聚焦。在这方面，所述车辆控制单元110的资源集中在所述上采样的感兴趣区域上，以对所述图像202的所述上采样的感兴趣区域208进行图像识别，以识别所述车辆客舱乘客区域124内的所述物品130。此外，可以实现机器学习技术以进一步将物品划分成基本类别。例如，一类是乘客相关物品，例如与租用旅行乘客相关联的物品，另一类是非乘客相关物品，例如所述车辆操作员的物品。使用上述图像处理技术，可以容易地检测和识别物品，例如所述物品130。
关于基于图像202的图像识别，图3示出了示例卷积神经网络300。通常，所述卷积神经网络300包括卷积层302、池化层304和全连接神经网络层306。关于训练，所述卷积神经网络300可针对一组可能的乘客相关物品(如上文所论述的)进行训练。
在操作中，所述卷积神经网络300用于基于按邻近度筛选连接而对所述图像202进行图像识别。例如，所述卷积神经网络300不是用于将每个输入连接到给定层中的每一个神经元(例如用神经网络)，而是用于限制连接，使得神经元仅接受其之前的层的小部分输入。因此，所述卷积神经网络300的神经元负责对所述图像202的一部分进行图像处理。
所述卷积层302用于将所述图像202(具有宽度(x)、高度(y)和颜色(d)维度)处理成一组重叠的块(例如，3×3×3块)作为输出310。当所述图像202为视频或一系列图像的形式时，可以增加附加的维度来考虑时间(t)。所述输出310提供以阵列排列的值，以数字地表示所述图像202的每个区域的内容(例如，参见图2)。
所述池化层304在三维或四维阵列中接收输出310，并产生池化输出312，所述池化输出312包括所述图像202的与检测置信度度量相关的部分，所述检测置信度度量指示所述感兴趣区域208内的所述物品130。通常，池化层用于减小图像表示的空间大小。池化用于从原始输入体积产生特征的关系上下文，实际上减小了图像体积的空间大小，其中像素长度和宽度改变，但像素深度不变。因此，参数的数量和卷积网络计算也减少了。
全连接的神经网络层306用作检测层314，以产生与所述图像202相关的所述感兴趣区域208。所述检测层314保留那些具有较高的检测置信度度量的感兴趣区域208，所述较高的检测置信度度量表示检测到的物品130。
控制器316用于选择性地对所述池化输出312进行上采样，从而通过上采样318和滤波器322产生上采样输出324，所述滤波器322用于通过所述感兴趣区域208划分和聚焦(例如，增加像素密度)所述图像202的另一部分。可以进一步对所述上采样输出324进行池化，以产生上采样池化输出326，其中，提高了低分辨率图像(例如所述图像202)的一部分的分辨率。
所述上采样池化输出326还包括例如所述感兴趣区域208内的所述图像202的与检测置信度度量相关的组分和/或部分(所述检测置信度度量指示所述物品130)，如通过所述上采样感兴趣区域210进一步聚焦的，所述上采样感兴趣区域210是检测320通过所述上采样池化输出326产生的。在这方面，提高所述图像202的分辨率以从所述池化层采集上下文。实际上，对所述池化输出326进行上采样为所述图像202的所需部分提供聚焦函数，以提供用于图像识别的附加的信息。
可以实现附加的上采样阶段，实现附加的卷积、池化和上采样过程，以迭代地聚焦所述感兴趣区域208的部分来获得图像识别结果。如结合图4所详细描述的那样，所述卷积神经网络300可以通过所述车辆控制单元110来执行。
图4为本公开的一个实施例提供的车辆控制单元110的示意图。所述车辆控制单元110是用于实现本文描述的公开实施例的合适的平台。所述车辆控制单元110可以包括：通信接口402，用于接收和/或传输数据；处理器、逻辑单元或中央处理器(centralprocessing unit，CPU)404，用于处理数据；存储器406，用于存储通过总线408彼此耦合的数据。
所述处理器404通过硬件和软件实现。所述处理器404可以实现为一个或多个CPU芯片、核(例如，多核处理器)、现场可编程门阵列(field-programmable gate array，FPGA)、专用集成电路(application specific integrated circuit，ASIC)和数字信号处理器(digital signal processor，DSP)。所述处理器404与所述通信接口402和所述存储器406通信。所述处理器404可以是传统的中央处理单元或任何其它类型的设备，或能够操作或处理信息的多个设备。可以理解的是，所述处理器404可以是单个处理设备或多个处理设备。这种处理设备可以是微处理器微控制器、数字信号处理器、微机、中央处理单元、现场可编程门阵列、可编程逻辑设备、状态机、逻辑电路、模拟电路、数字电路、和/或基于电路和/或操作指令的硬编码操作信号(模拟和/或数字)的任何设备。
所述存储器406包括一个或多个磁盘、磁带驱动器和固态硬盘，并可以用作溢出数据存储设备，以在选择执行程序时存储这些程序，并存储在程序执行期间读取的指令和数据。所述存储器406可以是易失性和/或非易失性的，可以是只读存储器(read-onlymemory，ROM)、随机存取存储器(random access memory，RAM)、三态内容寻址存储器(ternary content-addressable memory，TCAM)和/或静态随机存取存储器(staticrandom-access memory，SRAM)。此外，本文描述的布置可以采取包含在一个或多个计算机可读存储介质中的计算机程序产品的形式，所述计算机可读存储介质上包含(即，存储)有计算机可读程序代码。可以使用一个或多个计算机可读介质的任何组合。计算机可读介质可以是计算机可读信号介质或计算机可读存储介质。
短语“计算机可读存储介质”是指非瞬时性存储介质。计算机可读存储介质可以是例如但不限于电子、磁性、光学、电磁、红外或半导体系统、装置或设备或前述的任何合适的组合。所述计算机可读存储介质的更具体示例(非详尽列表)将包括：便携式计算机软盘、硬盘驱动器(hard disk drive，HDD)、固态驱动器(solid-state drive，SSD)、ROM、可擦除可编程只读存储器(EPROM或闪存)、便携式光盘只读存储器(compact disc read-onlymemory，CD-ROM)、数字通用光盘(digital versatile disc，DVD)、光存储设备、磁性存储设备或前述的任何合适的组合。在本文描述的实施例的上下文中，所述计算机可读存储介质可以是任何有形介质，其可以包含或存储供指令执行系统、装置或设备使用的程序或与指令执行系统、装置或设备相关的程序。计算机可读介质上包含的程序代码可以使用任何合适的介质进行传输，包括但不限于无线、光纤、电缆、射频(radio frequency，RF)等，或前述的任何合适的组合。
所述存储器406能够存储机器可读指令，使得机器可读指令可以包括用编程语言及其代(例如，1GL、2GL、3GL、4GL或5GL)编写的逻辑或算法，例如，可以由所述处理器404直接执行的机器语言，或者汇编语言，面向对象编程(object-oriented programming，OOP)，例如JAVA、Smalltalk、C++等，可以编译或汇编成机器可读指令并存储在所述存储器406上的传统过程编程语言、脚本语言、微码等。或者，所述机器可读指令可以用硬件描述语言(hardware description language，HDL)编写，例如通过FPGA配置或ASIC或等效物实现的逻辑。因此，本文描述的方法和设备可以以任何常规计算机程序语言实现，作为预编程硬件元件，或者作为硬件和软件组件的组合。
需要说明的是，当所述处理器404包括一个以上的处理设备时，所述处理设备可以位于中心(例如，通过有线和/或无线总线结构直接耦合在一起)或者可以位于分布式位置(例如，通过局域网和/或广域网的间接耦合的云计算)。还需要注意的是，当所述处理器404通过状态机、模拟电路、数字电路和/或逻辑电路实现其一个或多个功能时，存储相应操作指令的存储器(和/或存储器元件)可以嵌入或外置于所述电路包括状态机、模拟电路、数字电路和/或逻辑电路。
所述通信接口402通常治理和管理通过车辆网络412接收的数据，例如通过电源/数据总线128提供给所述车辆网络412的消息数据160，以及接收数据152。
所述车辆客舱库存数据库可以本地存储为在所述存储器406中定义的本地车辆客舱库存数据库450，并与所述车辆控制单元110并置用于厚客户端数据库操作。例如，为了避免所述无线通信140中的信号质量差导致数据中断，可以将图1(未示出)中的车辆客舱库存数据库150的一部分下载、推送和/或复制到所述存储器406中，作为本地车辆客舱库存数据库450。
在这方面，所述车辆控制单元110可以基于所述乘客162的联系数据151生成用于通告的消息数据160。所述通信接口402还可以用于通过无线通信140管理关于外部网络(例如，网络云118表示的网络)的数据流。本公开对在任何特定硬件布置上操作没有限制，因此，本文的基本特征可以随着其发展被替换、删除、添加或以其它方式修改，以改进硬件和/或固件布置。
图5是所述车辆控制单元110的被动检测操作模式500的示例功能流程图。通常，所述被动检测操作模式500可以在较大的或延迟的时间间隔上操作，用于检测和识别车辆客舱乘客区域124、126和/或127内的物品。在所述被动检测操作模式500中，对所述车辆控制单元110的计算资源的需求较少，因此对所述车辆100的电源的功率需求较少。所述被动检测操作模式500可以用于电动和/或混合电动车辆环境中，以通过所述车辆控制单元110最小化电力消耗。
所述被动检测操作模式500包括离线组件510和在线组件560。所述离线组件510可以在所述车辆控制单元110的停机期间生成，例如在框512中，以建立对应于所述车辆客舱乘客区域124、126和127的所述车辆客舱102的车辆客舱训练数据。可以基于所述摄像头设备相对于所述车辆客舱102的位置和视角为每个摄像头设备120、121、122和123生成车辆客舱训练数据。可以理解的是，所述训练数据可以用于训练所述卷积神经网络300，以在所述车辆客舱102内进行物品识别。
在框514中，所述操作将所述车辆客舱模型分割成区域206(a，b)，如图2所示以及如上面所详细描述的那样。所述分割的车辆客舱模型在在线组件560中用于由(1)乘客进入事件562和(2)乘客离开事件576的示例发起的物品识别。可以理解的是，基于所述车辆控制单元110的功率和资源可用性，所述乘客进入事件562和所述乘客离开事件576之间的时间段可以以较小的采样时间间隔进行，用于车辆客舱乘客区域中的物品检测和识别。
在所述在线组件560中，所述乘客进入事件562随后启动物品识别和乘客识别。例如，乘客进入事件562的示例包括乘客门的打开伴随着乘客在座椅上就座的一段时间。
在框564中，所述被动检测操作模式500采集所述车辆客舱102的图像，在框566中，检测和识别车辆客舱乘客区域124、126和/或127中的一个物品和/或多个物品。
从框568中开始乘客识别，采集乘客图像和/或访问应用程序，在框570中，生成乘客识别和乘客标识符。
可以理解的是，乘客识别可以基于使用互联网来源的识别数据的面部和/或生物识别技术。例如，面部识别能力可以通过社交网络数据资源开发并变得可用，所述社交网络数据资源来自与传记信息相结合的用户图像发布。社交网络资源的示例包括但不限于Facebook、Linkedin、Google+、YouTube、Pinterest、Instagram、Tumblr等。
也可以理解的是，乘客识别可以基于其客户应用程序的乘客联系数据151，所述客户应用程序用于请求租用车辆，如上文参考图1所述。
在框572中，框566中的所述识别的物品与在框570中识别(identified)或识别(recognized)的乘客相关联。在框574中，基于与所述乘客标识符相关联的所述识别的物品，用条目更新所述车辆客舱库存数据库150。
在框576中，乘客离开事件触发识别所述车辆客舱乘客区域124、126和/或127中的一个或多个物品。与框562的所述乘客进入事件的所述物品识别相反，物品可能已重新定位到其它车辆客舱乘客区域或一起移走，例如乘客已将所述物品返回到它们的衣服或附件中。在框578中，识别其余的物品或已移走的物品。在框580中，确定所述其余的物品的位置和所述已移走的物品的最后已知位置。在框572中，所述其余的物品或所述已移走的物品与所述乘客相关联，在框574中，更新所述车辆客舱库存数据库150以反映所述其余的物品或所述已移走的物品的状态。
在框594中，生成包括与所述车辆客舱乘客区域内的一个或多个已识别物品相关的条目的消息数据，以如上文详细论述的那样通知所述乘客。由于框562中的乘客进入事件与框576中的乘客离开事件之间的时间跨度，具有多个乘客的场景可能不会将所述识别的物品与单个乘客相关联，而是通常将所述识别的物品与整个乘客群相关联。
此外，在框590中，可以通过用户查询访问所述车辆客舱库存数据库150。在此方面，在框592中，乘客、车辆操作员或租用车辆服务可以搜索所述车辆客舱库存数据库150中的查询对象，在框594中，生成消息数据以通知所述乘客，以及车辆操作员和/或车辆租用服务。
图6是示出所述车辆控制单元110的主动检测操作模式600的示例功能流程图。通常，所述主动检测操作模式600可以在连续或近连续的基础上操作，以将识别的物品与乘客相关联。
在框610中，当所述乘客进入事件发生时，在框612中检测所述乘客，并在框614中通过如上所述的人脸识别和/或生物测定输入，或通过经由所述乘客的客户端应用程序访问的联系数据151来识别所述乘客。同样在框612中，可以检测乘客的手部动作、口袋、钱包等，在框616中，可以观察所述乘客身上的一个或多个物品，所述物品可能是所述乘客移走的或无意中从口袋和/或钱包中掉出的。
在框618中，将所述识别的物品与在框614中识别的乘客相关联，在框619中，基于与所述乘客标识符相关联的所述识别的物品，用条目更新所述车辆客舱库存数据库150。
在框630中，乘客离开事件在框632中触发检测所述车辆客舱乘客区域124、126和/或127中的一个或多个物品。在框634中，当检测到所述识别的物品时，生成消息数据(所述消息数据包括与所述识别的物品或所述车辆客舱乘客区域内的物品相关的条目)，以如上文详细论述的那样通知所述乘客。在框634中，如果未检测到所述识别的物品，例如乘客已将物品返回到他们的衣服或附件中，则在框638中，更新所述车辆客舱存储数据库150，以反映更新的状态。
此外，在框620中，可以通过用户查询访问所述车辆客舱库存数据库150。在此方面，在框622中，乘客、车辆操作员或租用车辆服务可以在所述车辆客舱库存数据库150中搜索查询对象，在框624中，生成消息数据以通知所述乘客，以及车辆操作员和/或车辆出租服务关于所述识别的物品的状态。
图7是用于减少乘客相关物品丢失的方法700的实施例的流程图。在一个实施例中，所述方法700在车辆控制单元中实现，并且例如在车辆客舱乘客区域内识别乘客物品时使用。
在框702中，在车辆客舱乘客区域内识别物品。可以理解的是，图像处理技术可以用于感测环境的变化。在共享车辆环境中，图像识别可以用于检测环境变化，例如乘客座椅上最初不存在的物品。
此外，图像识别处理可以包括上采样技术，以基于检测置信度度量进一步划分和聚焦车辆乘客区域。例如，在采集车辆客舱区域的图像时，可以基于所述车辆乘客区域中的相应检测置信度度量(例如，用于指示车辆乘客区域中的物品)来识别图像的感兴趣区域。通常，用于图像识别的机器学习技术是基于一组已开发的建模数据(例如车辆客舱图像数据和一组物品的物品图像数据)来训练的。为了例如通过深度学习机器技术(例如，卷积神经网络、行动者-批评者机器学习、强化学习)改进图像处理，可以对感兴趣区域进行上采样以产生上采样的感兴趣区域，并且可以对所述上采样的感兴趣区域进行图像识别以识别所述车辆客舱乘客区域内的物品。
在框704中，将所述识别的物品与通过乘客标识符识别的乘客建立关联。所述联系可以基于所述车辆客舱内的物品与乘客位置的邻近度。在另一示例中，所述关联可以基于跟踪数据，所述跟踪数据具有与所述乘客并置的来源。通常，如上文所论述的那样，可以提供乘客标识符。此外，可以在乘客进入车辆时从乘客处感测或接收生物识别，例如虹膜识别数据、指纹识别数据、人脸识别数据、语音识别数据。此外，基于通过区块链架构或技术的验证，可以使用其它形式的乘客标识符。可以通过乘客手持移动设备接收其它识别数据。
在框706中，可以基于与所述乘客标识符相关联的所述识别的物品，用条目来更新车辆客舱库存数据库。以这种方式，可以针对多个乘客生成与在车辆客舱乘客区域内识别的物品相关的近实时库存。可以排除驾驶员和/或操作员物品(因为该区域的性质与驾驶员(如驾驶员座椅)有关)，以及随时间的推移一直被识别为存在于车辆中的物品(如旅行杯、手持移动设备等)。
在框708中，所述方法确定乘客离开事件是否发生。车辆传感器设备(例如摄像头设备120和摄像头设备122)还可以包括用于监测所述车辆的环境状况以及所述车辆客舱102的内部状况的设备。例如，所述车辆传感器设备可以包括可以提供与乘客离开和/或进入事件相关的车门传感器数据的门致动传感器设备，以及可以提供也可指示乘客离开和/或进入事件的乘客座椅传感器数据的乘客座椅传感器设备。所述车辆传感器设备的其它示例可以包括：可以通过车辆锁传感器数据指示车门的锁定状态的车辆锁传感器设备，以及能够生成指示离开和/或进入事件的目的地到达数据的全球定位系统(GlobalPositioning System，GPS)设备。在框710中，继续在所述车辆客舱乘客区域内检测所述识别的物品。
在框712中，基于在发生离开事件时所述车辆客舱乘客区域内所述识别的物品，生成包括与所述检测到的物品相关的数据库条目的消息数据。可以理解的是，所述消息数据可以通过通告设备(例如车辆扬声器、车辆显示器)口头通告。除了或替代地，所述消息数据：可以通过基于所述乘客标识符传输的文本消息来通告，以供手持移动设备接收；可以通过基于所述乘客标识符传输的所述消息数据来通告，以供所述手持移动设备的客户端应用程序接收；和/或可以通过基于所述乘客标识符传输的所述消息数据作为通用资源定位符(universal resource locator，URL)链接来通告，以供用户设备接收。在这方面，可以将移动手持设备引导到网站，以通知所述乘客遗留的物品，以及取回或安排取回所述物品的机会。
一种在租用旅行环境中减少乘客相关物品丢失的方法包括：将所述识别的物品与通过乘客标识符识别的乘客相关联的装置；基于与所述乘客标识符相关联的所述识别的物品，用条目更新车辆客舱库存数据库的装置；当发生乘客离开事件时，在所述车辆客舱乘客区域内检测所述识别的物品的装置；基于所述车辆客舱乘客区域内的所述识别的物品生成消息数据的装置，所述消息数据包括与所述检测到的物品相关的条目。
一种用于对物品进行车内跟踪的车辆控制单元包括：包含指令的存储器装置，和耦合到所述存储器的处理器装置，所述处理器装置用于：执行存储在所述存储器装置中的所述指令，使所述处理器装置识别车辆客舱乘客区域内的物品；将所述识别的物品与通过乘客标识符识别的乘客相关联；用包括与所述乘客标识符相关联的所述识别的物品的条目更新车辆客舱库存数据库；当发生乘客离开事件时，在所述车辆客舱乘客区域内检测所述识别的物品；基于所述车辆客舱乘客区域内的所述识别的物品生成消息数据，所述消息数据具有与所述检测到的物品相关的条目。
一种减少乘客相关物品丢失的方法包括：通过图像识别，将车辆客舱乘客区域内的物品识别为乘客相关物品的装置；当所述识别的物品为所述乘客相关物品时，将所述识别的物品与通过乘客标识符识别的乘客相关联的装置；用于更新与所述乘客标识符和所述乘客相关物品相关联的车辆客舱库存数据库条目的装置；当发生乘客离开事件时，在所述车辆客舱乘客区域内检测所述乘客相关物品的装置；用于基于所述车辆客舱乘客区域内的所述乘客相关物品并基于所述车辆客舱库存数据库，生成与所述检测到的物品相关的消息数据，并传输所述消息数据以提示所述通过乘客标识符识别的乘客。
当第一组件与第二组件之间除了线、迹线或其它介质之外没有中间组件时，所述第一组件与所述第二组件直接耦合。当所述第一组件与所述第二组件之间除了线、迹线或其它介质之外还有中间组件时，所述第一组件与所述第二组件间接耦合。术语“耦合”及其变体包括直接耦合和间接耦合。除非另有说明，否则使用术语“约”是指以下描述的数字的±10％。
虽然本发明中已提供若干实施例，但可以理解的是，在不脱离本发明的精神或范围的情况下，所公开的系统和方法可以以许多其它特定形式来体现。本发明示例应被视为说明性而非限制性的，且本发明并不限于本文所给出的细节。例如，可以在另一系统中结合或集成各种元件或组件，或者可以省略或不实现某些特征。
此外，在不偏离本发明的范围的情况下，各种实施例中描述和说明为离散或单独的技术、系统、子系统和方法可以与其它系统、组件、技术或方法进行组合或集成。展示或论述为耦合的其它项可以彼此连接或者可以采用电方式、机械方式或其它方式通过某一接口、设备或中间部件间接地耦合或通信。其它变更、替换、更替示例对本领域技术人员而言是显而易见的，均不脱离此处公开的精神和范围。

Claims (20)

1.一种在租用旅行环境中减少乘客相关物品丢失的方法，其特征在于，所述方法包括：
识别车辆客舱乘客区域内的物品；
将所述识别的物品与通过乘客标识符识别的乘客相关联；
基于与所述乘客标识符相关联的所述识别的物品，用数据库条目更新车辆客舱库存数据库；
响应于乘客离开事件的发生，检测所述车辆客舱乘客区域内所述识别的物品；
基于所述车辆客舱乘客区域内的所述识别的物品生成消息数据，所述消息数据包括与所述识别的物品相关的条目。
2.根据权利要求1所述的方法，其特征在于，识别所述物品包括：
采集所述车辆客舱乘客区域的图像；
识别所述图像的感兴趣区域，所述感兴趣区域基于与所述车辆客舱区域相关的检测置信度度量；
对所述感兴趣区域进行上采样以产生上采样感兴趣区域，所述上采样感兴趣区域用于促进图像识别；
对所述图像的所述上采样感兴趣区域进行图像识别，以在所述车辆客舱乘客区域内识别所述物品。
3.根据权利要求2所述的方法，其特征在于，采集所述车辆客舱乘客区域的图像发生在乘客进入事件时。
4.根据权利要求1所述的方法，其特征在于，识别所述车辆客舱乘客区域内的所述物品包括将所述识别的物品验证为乘客相关物品。
5.根据权利要求1所述的方法，其特征在于，所述方法还包括通过通告设备口头通告所述消息数据。
6.根据权利要求1所述的方法，其特征在于，所述方法还包括通告所述消息数据。
7.根据权利要求6所述的方法，其特征在于，通告所述消息数据包括以下操作中的至少一个：
基于所述乘客标识符传输文本消息，以供手持移动设备接收；
基于所述乘客标识符传输所述消息数据，以供所述手持移动设备的客户端应用程序接收；或
基于所述乘客标识符传输所述消息数据作为通用资源定位符(universal resourcelocator，URL)链接，以供用户设备接收。
8.根据权利要求1所述的方法，其特征在于，所述乘客离开事件基于以下至少一种：
摄像机设备数据；或
车门传感器数据。
9.一种用于物品的车载跟踪的车辆控制单元，其特征在于，所述车辆控制单元包括：
存储器，所述存储器包含指令；
处理器，所述处理器耦合到所述存储器，所述处理器用于执行存储在所述存储器中的所述指令以使所述处理器：
识别多个车辆客舱乘客区域内的物品；
将所述识别的物品与通过乘客标识符识别的乘客相关联；
用包括与所述乘客标识符相关联的所述识别的物品的条目更新车辆客舱库存数据库；
响应于乘客离开事件的发生，检测所述多个车辆客舱乘客区域内所述识别的物品；
基于所述多个车辆客舱乘客区域内的所述识别的物品生成消息数据，所述消息数据具有与所述识别的物品相关的条目。
10.根据权利要求9所述的车辆控制单元，其特征在于，所述车辆控制单元包括存储在存储器中的其它指令，以使所述处理器通过以下方式识别所述物品：
采集所述多个车辆客舱乘客区域中的一个车辆客舱乘客区域的图像；
识别所述图像的感兴趣区域，其中所述感兴趣区域基于与所述多个车辆客舱乘客区域中的所述车辆客舱乘客区域相关的检测置信度度量；
对所述感兴趣区域进行上采样以产生上采样感兴趣区域，所述上采样感兴趣区域用于促进图像识别；
对所述图像的所述上采样感兴趣区域进行图像识别，以在所述车辆客舱乘客区域内识别所述物品。
11.根据权利要求9所述的车辆控制单元，其特征在于，在所述多个车辆客舱乘客区域内识别所述物品包括将所述识别的物品验证为乘客相关物品。
12.根据权利要求9所述的车辆控制单元，其特征在于，所述车辆控制单元包括存储在所述存储器中的其它指令，以使所述处理器通过用户界面口头通告所述消息数据。
13.根据权利要求9所述的车辆控制单元，其特征在于，所述车辆控制单元包括存储在存储器中的其它指令，以使所述处理器通过以下至少一种来传输所述消息数据：
基于所述乘客标识符的文本消息，以供手持移动设备接收；
基于所述乘客标识符的客户端应用程序，以供所述手持移动设备的客户端应用程序接收；或
通用资源定位符(universal resource locator，URL)链接，以供用户设备接收。
14.根据权利要求9所述的车辆控制单元，其特征在于，所述乘客离开事件基于以下至少一种：
摄像头设备数据；或
车门传感器数据。
15.根据权利要求9所述的车辆控制单元，其特征在于，所述乘客标识符包括以下至少一种：
用户名；
国际移动设备识别(international mobile equipment identity，IMEI)号码；或
电子序列号(electronic serial number，ESN)。
16.一种减少乘客相关物品丢失的方法，其特征在于，所述方法包括：
通过图像识别，将车辆客舱乘客区域内的物品识别为乘客相关物品；
当所述物品为所述乘客相关物品时，将所述物品与通过乘客标识符识别的乘客相关联；
用所述乘客标识符和所述乘客相关物品更新车辆客舱库存数据库条目；
响应于乘客离开事件的发生，检测所述车辆客舱乘客区域内的所述乘客相关物品；
基于所述车辆客舱乘客区域内的所述乘客相关物品，并基于所述车辆客舱库存数据库条目生成消息数据；
传输所述消息数据，用于提醒所述通过乘客标识符识别的所述乘客。
17.根据权利要求16所述的方法，其特征在于，识别所述物品包括：
采集所述车辆客舱乘客区域的图像；
识别所述图像的感兴趣区域，其中所述感兴趣区域基于与所述车辆客舱乘客区域相关的检测置信度度量；
对所述感兴趣区域进行上采样以产生上采样感兴趣区域，其中所述上采样感兴趣区域提供增强的焦点以促进图像识别；
对所述图像的所述上采样感兴趣区域进行图像识别，以在所述车辆客舱乘客区域内识别所述物品。
18.根据权利要求16所述的方法，其特征在于，传输所述消息数据包括以下至少一种：
基于所述乘客标识符传输文本消息，以供手持移动设备接收；
基于所述乘客标识符传输所述消息数据，以供所述手持移动设备的客户端应用程序接收；或
基于所述乘客标识符传输所述消息数据作为通用资源定位符(universal resourcelocator，URL)链接，以供用户设备接收。
19.根据权利要求16所述的方法，其特征在于，所述乘客离开事件基于以下至少一种：
摄像头设备数据；或
车门传感器数据。
20.根据权利要求16所述的方法，其特征在于，所述乘客标识符包括以下至少一种：
用户名；
国际移动设备识别(international mobile equipment identity，IMEI)号码；或
电子序列号(electronic serial number，ESN)。
CN201980023787.4A 2018-03-29 2019-01-24 乘客相关物品丢失减少 Active CN111937050B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210602359.0A CN115439831A (zh) 2018-03-29 2019-01-24 减少乘客相关物品丢失的方法和装置

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/939,984 US10311704B1 (en) 2018-03-29 2018-03-29 Passenger-related item loss mitigation
US15/939,984 2018-03-29
PCT/CN2019/073036 WO2019184573A1 (en) 2018-03-29 2019-01-24 Passenger-related item loss mitigation

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202210602359.0A Division CN115439831A (zh) 2018-03-29 2019-01-24 减少乘客相关物品丢失的方法和装置

Publications (2)

Publication Number Publication Date
CN111937050A true CN111937050A (zh) 2020-11-13
CN111937050B CN111937050B (zh) 2022-05-31

Family

ID=66673342

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202210602359.0A Pending CN115439831A (zh) 2018-03-29 2019-01-24 减少乘客相关物品丢失的方法和装置
CN201980023787.4A Active CN111937050B (zh) 2018-03-29 2019-01-24 乘客相关物品丢失减少

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202210602359.0A Pending CN115439831A (zh) 2018-03-29 2019-01-24 减少乘客相关物品丢失的方法和装置

Country Status (7)

Country Link
US (2) US10311704B1 (zh)
EP (1) EP3766056A4 (zh)
JP (2) JP7366921B2 (zh)
KR (2) KR20230125091A (zh)
CN (2) CN115439831A (zh)
MX (1) MX2020010170A (zh)
WO (1) WO2019184573A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114005103A (zh) * 2021-10-29 2022-02-01 上海商汤临港智能科技有限公司 关联车内的人和物的方法及装置、电子设备和存储介质
WO2022041669A1 (zh) * 2020-08-31 2022-03-03 上海商汤临港智能科技有限公司 遗留物品的提醒方法及装置、电子设备和存储介质
CN114863669A (zh) * 2022-04-29 2022-08-05 湖南喜宝达信息科技有限公司 一种共享车辆及其车筐遗留物件的监控方法、存储介质

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11493348B2 (en) 2017-06-23 2022-11-08 Direct Current Capital LLC Methods for executing autonomous rideshare requests
WO2019030985A1 (ja) * 2017-08-10 2019-02-14 住友電気工業株式会社 制御装置、制御方法、およびコンピュータプログラム
US11106927B2 (en) * 2017-12-27 2021-08-31 Direct Current Capital LLC Method for monitoring an interior state of an autonomous vehicle
US10853629B2 (en) 2018-02-20 2020-12-01 Direct Current Capital LLC Method for identifying a user entering an autonomous vehicle
US10311704B1 (en) * 2018-03-29 2019-06-04 Futurewei Technologies, Inc. Passenger-related item loss mitigation
EP3594860B1 (en) * 2018-07-09 2024-05-08 Tata Consultancy Services Limited Sparse neural network based anomaly detection in multi-dimensional time series
US11295148B2 (en) * 2019-09-24 2022-04-05 Ford Global Technologies, Llc Systems and methods of preventing removal of items from vehicles by improper parties
US11111895B2 (en) 2019-10-16 2021-09-07 GM Cruise Holdings, LLC Safely initiating an autonomous vehicle ride
US11485383B2 (en) 2019-12-06 2022-11-01 Robert Bosch Gmbh System and method for detecting and mitigating an unsafe condition in a vehicle
US11393225B2 (en) 2019-12-06 2022-07-19 Robert Bosch Gmbh System and method for detecting abnormal settling of passengers in a vehicle
JP7055785B2 (ja) * 2019-12-18 2022-04-18 矢崎総業株式会社 車載装置
CN111982372A (zh) * 2020-07-09 2020-11-24 深圳市元征科技股份有限公司 车辆遗落物品检测方法、车载设备及计算机存储介质
CN112435154B (zh) * 2020-12-11 2024-03-19 山西省信息产业技术研究院有限公司 轨道交通运营阶段综合信息监管系统
US11763660B2 (en) * 2021-02-04 2023-09-19 Aurora Flight Sciences Corporation Monitoring an environment for objects left by individuals
US12106586B2 (en) * 2022-03-28 2024-10-01 Gm Cruise Holdings Llc Lost object tracking system

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0648269A (ja) * 1992-05-26 1994-02-22 Thomson Csf 車両又は目標物の自動識別探知のためのシステム
CN101587627A (zh) * 2008-05-23 2009-11-25 林国朋 物品防落下语音提醒器
DE102009029616A1 (de) * 2009-09-18 2010-03-04 Alexander Holst Computergestütztes System zum Wiederfinden von Gegenständen
JP2010182189A (ja) * 2009-02-06 2010-08-19 Pioneer Electronic Corp 情報出力装置、情報出力方法、情報出力プログラムおよび記録媒体
CN102982170A (zh) * 2012-12-14 2013-03-20 上海斐讯数据通信技术有限公司 失物追踪系统及方法
CN103310597A (zh) * 2013-06-08 2013-09-18 安徽工程大学 出租车乘客物品防丢提示系统
CN103839090A (zh) * 2012-11-26 2014-06-04 张龙斌 二维码标签管理方法及系统
CN103856501A (zh) * 2012-11-29 2014-06-11 上海贝尔软件有限公司 一种利用无线通信网络的公共交通记录跟踪系统
CN106240491A (zh) * 2015-06-05 2016-12-21 通用汽车环球科技运作有限责任公司 用于向车辆乘客提供警报的系统
CN106560836A (zh) * 2015-10-02 2017-04-12 Lg电子株式会社 在车辆中提供防物品遗失服务的设备、方法和移动终端
CN206653958U (zh) * 2017-04-12 2017-11-21 济南大学 一种带储物功能且能提醒乘客带行李的公交车座椅
CN107403159A (zh) * 2017-07-28 2017-11-28 北京中航安通科技有限公司 一种目标物品关联、核验及票务核验方法及其装置

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002047942A2 (en) 2000-11-16 2002-06-20 Donnelly Corporation Vehicle compartment occupancy detection system
EP1504276B1 (en) 2002-05-03 2012-08-08 Donnelly Corporation Object detection system for vehicle
US7720580B2 (en) 2004-12-23 2010-05-18 Donnelly Corporation Object detection system for vehicle
JP2006338535A (ja) 2005-06-03 2006-12-14 Matsushita Electric Ind Co Ltd 車内忘れ物防止方法及び装置
JP2008262459A (ja) 2007-04-13 2008-10-30 Fujitsu Ten Ltd 置き忘れ報知装置
EP2026246A1 (en) 2007-08-03 2009-02-18 Harman/Becker Automotive Systems GmbH Method and apparatus for evaluating an image
CN101937609A (zh) 2010-09-20 2011-01-05 奇瑞汽车股份有限公司 一种提醒乘客物品遗失的方法及装置
JP2012123491A (ja) 2010-12-06 2012-06-28 Fujitsu Ten Ltd 車載装置および忘れ物確認サービス
WO2013101057A1 (en) * 2011-12-29 2013-07-04 Intel Corporation Object recognition and notification
US9123244B2 (en) * 2013-03-15 2015-09-01 Denso International America, Inc. Vehicle tracking of personal devices with response system
JP2015023459A (ja) * 2013-07-19 2015-02-02 株式会社ニコン 投影システム
US9327645B2 (en) * 2013-08-28 2016-05-03 Harman International Industries, Incorporated Providing alerts for objects left in a vehicle
JP6146228B2 (ja) 2013-09-17 2017-06-14 株式会社Ｓｏｋｅｎ 物体検知装置及び物体検知システム
US9616773B2 (en) * 2015-05-11 2017-04-11 Uber Technologies, Inc. Detecting objects within a vehicle in connection with a service
KR20170064880A (ko) 2015-12-02 2017-06-12 엘지전자 주식회사 차량 내 영상기록장치 및 그것의 제어 방법
CN205486689U (zh) 2015-12-30 2016-08-17 江苏穿越金点信息科技有限公司 公交车内遗留物智能监测报警系统
JP6909960B2 (ja) * 2017-03-31 2021-07-28 パナソニックＩｐマネジメント株式会社 検知装置、検知方法及び検知プログラム
US10303961B1 (en) * 2017-04-13 2019-05-28 Zoox, Inc. Object detection and passenger notification
US10636276B2 (en) * 2017-08-17 2020-04-28 Manish Desai Cabin activity detection device
US20190095714A1 (en) * 2017-09-28 2019-03-28 Panasonic Automotive Systems Company Of America, Division Of Panasonic Corporation Of North America Vehicle interior lidar detection systems
US11106927B2 (en) * 2017-12-27 2021-08-31 Direct Current Capital LLC Method for monitoring an interior state of an autonomous vehicle
US10127795B1 (en) * 2017-12-31 2018-11-13 Lyft, Inc. Detecting and handling material left in vehicles by transportation requestors
JP6662935B2 (ja) * 2018-03-09 2020-03-11 本田技研工業株式会社 車両制御装置、車両制御方法、およびプログラム
JP2019168815A (ja) * 2018-03-22 2019-10-03 東芝メモリ株式会社 情報処理装置、情報処理方法、及び情報処理プログラム
US10311704B1 (en) * 2018-03-29 2019-06-04 Futurewei Technologies, Inc. Passenger-related item loss mitigation
JP2020004252A (ja) * 2018-06-29 2020-01-09 株式会社東芝 残留物検出システム
US10515535B1 (en) * 2018-08-24 2019-12-24 General Motors Llc System and method to provide a misplacement notification
DE112018007911T5 (de) * 2018-09-27 2021-04-29 Mitsubishi Electric Corporation Hinterlassenen-Erkennungsvorrichtung und Hinterlassenen-Erkennungsverfahren
WO2020128921A1 (en) * 2018-12-20 2020-06-25 Gentex Corporation Systems and methods for ride share monitoring
US10796174B2 (en) * 2018-12-21 2020-10-06 Nissan North America, Inc. Distance and object based external notification system for automated hailing service

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0648269A (ja) * 1992-05-26 1994-02-22 Thomson Csf 車両又は目標物の自動識別探知のためのシステム
CN101587627A (zh) * 2008-05-23 2009-11-25 林国朋 物品防落下语音提醒器
JP2010182189A (ja) * 2009-02-06 2010-08-19 Pioneer Electronic Corp 情報出力装置、情報出力方法、情報出力プログラムおよび記録媒体
DE102009029616A1 (de) * 2009-09-18 2010-03-04 Alexander Holst Computergestütztes System zum Wiederfinden von Gegenständen
CN103839090A (zh) * 2012-11-26 2014-06-04 张龙斌 二维码标签管理方法及系统
CN103856501A (zh) * 2012-11-29 2014-06-11 上海贝尔软件有限公司 一种利用无线通信网络的公共交通记录跟踪系统
CN102982170A (zh) * 2012-12-14 2013-03-20 上海斐讯数据通信技术有限公司 失物追踪系统及方法
CN103310597A (zh) * 2013-06-08 2013-09-18 安徽工程大学 出租车乘客物品防丢提示系统
CN106240491A (zh) * 2015-06-05 2016-12-21 通用汽车环球科技运作有限责任公司 用于向车辆乘客提供警报的系统
CN106560836A (zh) * 2015-10-02 2017-04-12 Lg电子株式会社 在车辆中提供防物品遗失服务的设备、方法和移动终端
CN206653958U (zh) * 2017-04-12 2017-11-21 济南大学 一种带储物功能且能提醒乘客带行李的公交车座椅
CN107403159A (zh) * 2017-07-28 2017-11-28 北京中航安通科技有限公司 一种目标物品关联、核验及票务核验方法及其装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022041669A1 (zh) * 2020-08-31 2022-03-03 上海商汤临港智能科技有限公司 遗留物品的提醒方法及装置、电子设备和存储介质
CN114005103A (zh) * 2021-10-29 2022-02-01 上海商汤临港智能科技有限公司 关联车内的人和物的方法及装置、电子设备和存储介质
WO2023071175A1 (zh) * 2021-10-29 2023-05-04 上海商汤智能科技有限公司 关联车内的人和物的方法及装置、电子设备和存储介质
CN114863669A (zh) * 2022-04-29 2022-08-05 湖南喜宝达信息科技有限公司 一种共享车辆及其车筐遗留物件的监控方法、存储介质

Also Published As

Publication number Publication date
US20200380848A1 (en) 2020-12-03
EP3766056A1 (en) 2021-01-20
EP3766056A4 (en) 2021-05-05
JP2023017925A (ja) 2023-02-07
US11776083B2 (en) 2023-10-03
WO2019184573A1 (en) 2019-10-03
MX2020010170A (es) 2020-10-28
CN115439831A (zh) 2022-12-06
CN111937050B (zh) 2022-05-31
KR20230125091A (ko) 2023-08-28
JP7366921B2 (ja) 2023-10-23
US10311704B1 (en) 2019-06-04
KR20200133385A (ko) 2020-11-27
JP2021517320A (ja) 2021-07-15

Similar Documents

Publication Publication Date Title
CN111937050B (zh) 乘客相关物品丢失减少
Eraqi et al. Driver distraction identification with an ensemble of convolutional neural networks
CN111587437B (zh) 使用视频管的活动识别方法
US11068788B2 (en) Automatic generation of human-understandable geospatial descriptors
JP7403546B2 (ja) 遺留対象検出
CN108280524B (zh) 识别车辆和生成预约信息的系统和方法
US9471838B2 (en) Method, apparatus and system for performing facial recognition
US20200171977A1 (en) Vehicle occupancy management systems and methods
JP2020504856A (ja) 画像に基づく車両損傷判定方法、装置および電子デバイス
US11880899B2 (en) Proximity-based shared transportation reservations
KR20210101313A (ko) 얼굴 인식 방법, 신경망 훈련방법, 장치 및 전자 디바이스
US11914745B2 (en) Personally identifiable information in encrypted data streams
WO2022041669A1 (zh) 遗留物品的提醒方法及装置、电子设备和存储介质
US11572039B2 (en) Confirmed automated access to portions of vehicles
US20200342503A1 (en) Evaluation device, evaluation system, vehicle, and program
CN110910190A (zh) 汽车共享和出租车服务的综合识别和认证
EP4246460A2 (en) Vehicle identification system
US11568164B2 (en) Enhanced contactless vehicle codes
CN113099385B (zh) 停车监测方法、系统和设备
US20240054795A1 (en) Automatic Vehicle Verification
KR102703736B1 (ko) 아바타를 이용한 카셰어링 서비스 시스템 및 방법
US20230109171A1 (en) Operator take-over prediction
CN116834691A (zh) 车内遗留对象的提醒方法、系统、计算机存储介质及车辆
JP2024011131A (ja) 忘れ物通知装置および忘れ物通知方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant