CN111433082A - 用于检测车内冲突的系统和方法 - Google Patents

用于检测车内冲突的系统和方法 Download PDF

Info

Publication number
CN111433082A
CN111433082A CN201880002586.1A CN201880002586A CN111433082A CN 111433082 A CN111433082 A CN 111433082A CN 201880002586 A CN201880002586 A CN 201880002586A CN 111433082 A CN111433082 A CN 111433082A
Authority
CN
China
Prior art keywords
passenger
driver
distance
detecting
human
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201880002586.1A
Other languages
English (en)
Inventor
沈海峰
赵元
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Didi Infinity Technology and Development Co Ltd
Original Assignee
Beijing Didi Infinity Technology and Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Didi Infinity Technology and Development Co Ltd filed Critical Beijing Didi Infinity Technology and Development Co Ltd
Publication of CN111433082A publication Critical patent/CN111433082A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/211—Selection of the most significant subset of features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/752—Contour matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/647—Three-dimensional objects by matching two-dimensional images to three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30268—Vehicle interior
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/44—Event detection

Abstract

本申请的实施例提供了一种用于检测车(100)内冲突的系统。该系统包括至少一个相机(110)，该相机被配置为捕获车辆(100)中的至少两个图像。该系统还包括与所述至少一个相机(110)通信的控制器(120)。所述控制器(120)被配置为从至少两个图像中检测人体对象，估计各个人体对象的深度信息，并基于所述深度信息检测冲突。

Description

用于检测车内冲突的系统和方法
技术领域
本申请涉及冲突检测系统和方法，更具体地说，涉及用于在叫车服务车辆中自动检测两个车辆乘员(例如司机和乘客)之间的冲突的系统和方法。
背景技术
网约车平台(例如，DiDiTM在线)可以从乘客接收乘坐服务请求，然后将服务请求路由到至少一个运输服务提供者(例如，出租车司机、私人车主等)。在司机响应运输服务请求后，司机将接载乘客，并将乘客带到所请求的目的地。
因为司机和乘客彼此不认识，所以在行程期间两者之间可能发生冲突。例如，司机和乘客可能对于司机为行程所采取的路线或服务收费有争议。有时，司机或乘客可能会企图对另一方犯下罪行，例如威胁、殴打或性骚扰。因此，车内冲突会给司机和/或乘客带来安全威胁。
现有的车内冲突检测方法依赖于司机或乘客的报告，例如，通过按下他们电话上的按钮，以通知网约车平台或冲突执法部门。例如，DiDiTM叫车系统提供“一键式警察呼叫”功能，允许车内人员(例如，司机或乘客)在他们各自的终端上一键按下来报警。服务平台或警方可以通过警告冲突双方进行干预。
然而，由于这些检测方法是由用户的手动输入触发的，因此它们不可靠。例如，冲突双方倾向于尽可能的推迟报告。此外，当车辆位于信号较差的地方时，可能无法进行此类报告。
本申请的实施例通过使用车辆内至少一个相机捕获的图像自动检测司机-乘客冲突来解决上述问题。
发明内容
本申请的实施例提供了一种用于检测车内冲突的系统。该系统包括至少一个相机，该相机被配置用于捕获车辆中的至少两个图像。该系统还包括与至少一个相机通信的控制器。所述控制器被配置为从至少两个图像中检测人体对象，估计各个人体对象的深度信息，并基于深度信息检测冲突。
本申请的实施例还提供了一种检测车内冲突的方法。该方法包括由至少一个相机，捕获车辆中的至少两个图像。该方法还包括由处理器，从所述至少两个图像中检测人体对象。该方法还包括通过所述处理器估计各个人体对象的深度信息，并且由所述处理器基于深度信息检测冲突。
本申请的实施例还提供了非暂时性计算机可读介质，其存储一组指令。当由电子设备中的至少一个处理器执行时所述指令时，该组指令使电子设备执行检测车内冲突的方法。该方法包括接收由至少一个相机捕获的车辆中的至少两个图像。该方法还包括从至少两个图像中检测人体对象。该方法还包括估计各个人体对象的深度信息，并基于所述深度信息检测冲突。
应当理解，前面的一般性描述和下面的详细描述都只是示例性和说明性的，并不是对要求保护的本发明的限制。
附图说明
图1示出了根据本申请的实施例所示的配备有冲突检测系统的车辆的示例性内部的示意图。
图2示出了根据本申请的实施例所示的示例性控制器的框图。
图3示出了根据本申请的实施例所示的图2所示的控制器中的示例性处理器的数据流程图。
图4示出了根据本申请的实施例所示的用于检测司机和乘客之间的冲突的示例性方法。
图5示出了根据本申请的实施例所示的用于检测车内冲突的示例性方法的流程图。
具体实施方式
现在将详细参考示例性实施例，其示例在附图中表示出。只要有可能，在整个附图中将使用相同的附图标记来表示相同或相似的部分。
图1表示出了根据本申请的实施例所示的配备有冲突检测系统的示例性车辆100的示意图。与一些实施例一致，车辆100可以被配置为由占用车辆的操作员操作，远程控制和/或自动驾驶。可以预期车辆100可以是电动车辆、燃料电池车辆、混合动力车辆或传统内燃机车辆。车辆100可以具有任何风格的车身，例如运动车辆、轿跑车、轿车、小卡车、旅行车、运动型多用途汽车(SUV)、小型货车或改装旅行车。
如图1所示，车身围绕的车辆100的内部可拥有一排或以上的座椅，以容纳车辆内的人。例如，前排座椅可容纳司机102和乘客(未表示出)。后排座椅106可容纳一个或以上的乘客，例如乘客104。车辆100可拥有两排以上的座位以容纳更多乘客。在一些实施例中，扶手或杯架可以安装在座椅之间。例如，杯架可容纳水瓶108。
如图1所示，车辆100可配备有冲突检测系统，其中包括至少一个相机110和控制器120以及其他设备。相机110可以设置或以其他方式安装在车辆100内。在一些实施例中，相机110可以安装在仪表板上、挡风玻璃上方、车顶上、角落里或其他地方。在一些实施例中，相机110可以集成在移动设备中，例如安装在车辆100的仪表板上的移动电话、平板电脑或全球定位系统(GPS)导航设备中。在一些实施例中，当车辆100正在完成服务行程时，相机110可被配置为在车辆100内捕获图像。与本申请一致，相机110可以是数码相机或数码摄像机，用于拍摄车辆100内部的图片或视频。图像可以捕获车辆100内的各种对象，例如司机102、乘客104、空座106和水瓶108。
在一些实施例中，多台相机110可以安装在车辆100内的不同位置，并且从不同视角拍摄内部照片。当车辆100朝向目的地行进时，相机110可以连续捕获图像。在特定时间点捕获的每个图像被称为一个图像帧。例如，相机110可以记录在多个时间点捕获的多个图像帧组成的视频。
在一些实施例中，相机110可以包括配置有不同相机设置的相机，以便提供在图像中捕获的对象的深度信息。例如，每个相机可以具有不同的焦距或视角。总的来说，多个相机可以保持相关的图像空间聚焦并且可以减轻由镜头缺陷引起的虚假图像。例如，相机110可包括焦距为20厘米、30米、50厘米和100厘米等的相机。因此，特定相机可以覆盖预设深度范围，并且各个深度范围内的对象可以与该相机焦点对准。因此，车辆100内的整个图像空间可能是焦点对准的。
回到图1，在一些实施例中，相机110可以与控制器120通信。在一些实施例中，控制器120可以是车辆100(例如电子控制单元)的车载控制器。在一些实施例中，控制器120可以是本地物理服务器、云服务器(如图1所示)、虚拟服务器、分布式服务器或任何其他合适的计算设备的一部分。控制器120可以通过网络与相机120和/或车辆100的其他组件通信，例如无线局域网(WLAN)、广域网(WAN)、诸如无线电波的无线网络、蜂窝网络、卫星通信网络和/或本地或短程无线网络(例如，蓝牙)。
与本申请一致，控制器120可以负责处理由相机110捕获的图像，并基于图像检测车内冲突。在一些实施例中，控制器120可以使用各种图像处理方法识别人体对象，例如司机102和一个或以上乘客104。例如，控制器120可以执行图像分割和对象分类方法以识别人体对象。在一些实施例中，控制器120可以估计所识别的人体对象的深度信息。例如，深度信息表征人体对象所处的深度范围。可以使用基于学习模型的机器学习方法来估计深度信息，例如卷积神经网络(CNN)模型。
车辆乘员，如司机和乘客或任何两名乘客，通常不应有任何联系。如果对应乘员的人体对象(例如，司机对象和乘客对象)彼此重叠或者彼此足够接近，则可能在两个车辆乘员之间(例如，在司机和乘客之间)发生冲突。因此，可以基于使用深度信息确定的司机对象和乘客对象的相对位置来检测司机-乘客冲突。例如，控制器120可以计算所述冲突的概率，并且，当所述概率高于预定阈值时，确定冲突已经发生。在一些实施例中，当检测到冲突时，控制器120可以自动为他们通知服务平台或警察干预和解决冲突。
例如，图2表示出了根据本申请的实施例所示的示例性控制器120的框图。与本申请一致，控制器120可以从一个或以上相机110接收图像数据203。在一些实施例中，图像数据203可以包含二维(2D)图像或三维(3D)图像。在一些实施例中，当多个相机110安装在车辆100内的不同位置时，图像数据203可包含从不同视角捕获的图像数据。
控制器120可以从图像数据203识别人体对象，使用图像数据203估计人体对象的深度，并使用深度信息检测车辆100中的司机-乘客冲突。在一些实施例中，如图2所示，控制器120包括通信接口202、处理器204、内存206和存储器208。在一些实施例中，控制器120包括单个设备中的不同模块，例如集成电路(IC)芯片(实现为专用集成电路(ASIC)或现场可编程门阵列(FPGA))或者单独的具有专用功能的设备。在一些实施例中，控制器120的一个或以上组件可以位于云服务器中，或者可替代地位于单个位置(例如车辆内部100或移动设备内)或分布式位置。控制器120的组件可以在集成设备中或者分布在不同位置，但是可以通过网络(未表示出)彼此通信。
通信接口202可以通过通信电缆、无线局域网(WLAN)、广域网(WAN)、诸如无线电波的无线网络、蜂窝网络和/或本地或短程无线网络(例如，蓝牙)或其他通信方法向诸如相机110的组件发送数据和从其接收数据。在一些实施例中，通信接口202可以是综合业务数字网(ISDN)卡、电缆调制解调器、卫星调制解调器或调制解调器，以提供数据通信连接。又例如，通信接口202可以是局域网络(LAN)卡，以提供与兼容LAN的数据通信连接。无线链路也可以由通信接口202实现。在这样的实现中，通信接口202可以发送和接收电信号，电磁信号或光信号，其携带通过网络表示各种类型信息的数字数据流。
与一些实施例一致，通信接口202可以接收由相机110捕获的图像数据203。通信接口202还可以将接收的数据提供给存储器208以便存储或提供给处理器204以进行处理。
处理器204可包括任何适当类型的通用或专用微处理器、数字信号处理器或微控制器。处理器204可以被配置为专用于基于由相机110捕获的图像数据执行车内冲突检测的单独处理器模块。或者，处理器204可以被配置为用于执行其他功能的共享处理器模块。
如图2所示，处理器204包括多个模块，例如对象检测单元210、深度估计单元212和冲突检测单元214等。在一些实施例中，处理器204可以另外包括冲突确认单元216。这些模块(以及任何相应的子模块或子单元)可以是处理器204的硬件单元(例如，集成电路的部分)，其被设计为与处理器204通过执行程序的至少一部分而实现的其他组件或软件单元一起使用。程序可以存储在计算机可读介质上，并且当由处理器204执行时，它可以执行一个或以上的功能。尽管图2表示出了在一个处理器204内的所有单元210-216，但是可以预期这些单元可以分布在彼此靠近或远离的多个处理器之间。
图3表示出了根据本申请的实施例的图2中所示的控制器120中的处理器204的数据流程图300。如图3所示，对象检测单元210可以从通信接口202接收图像数据203，并且可以配置为从图像数据203中识别车辆100内的人体对象。图像分割和对象检测方法可以用于识别人体对象。在一些实施例中，可以通过确定人体对象的轮廓信息来识别人体对象。
在一些实施例中，对象检测单元210可以首先在图像数据203上应用分割，以从图像中识别对象。通过图像分割识别的对象可以包括车辆100内的各种对象，例如，人体对象、座椅、袋子、安全带、放置在杯架中的瓶子或杯子，以及可以安装或带入车辆100的其他对象。然后，对象检测单元210可以使用对象检测模型302来检测所识别的对象中的人体对象。在一些实施例中，对象检测模型302可以是使用训练图像和这些图像中对应的人体对象训练的机器学习模型，例如CNN模型。
在一些替代实施例中，对象检测单元210可以首先使用对象检测模型302执行对象检测。例如，对象检测单元210可以从图像数据203确定包含人体对象的边界区域。边界区域可以是任何合适的形状，例如矩形、方形、圆形、椭圆形、菱形等。然后，应用图像分割来分割每个边界区域以识别人体对象。
所识别的人体对象，例如，他们的轮廓信息被转发到深度估计单元212。深度估计单元212被配置为估计人体对象的深度信息。深度信息可以包括例如相机110和人体对象之间的距离。因为人体对象是3D并且具有其自己的深度，所以深度信息可以包括人体对象的深度范围。在一些实施例中，深度估计单元212可以应用深度估计模型304来估计深度信息。深度估计模型304可以是使用训练对象及其对应的深度属性训练的机器学习模型，例如CNN。在一些实施例中，深度估计单元212可以替代地或另外地使用来自真实孔径相机的多个聚焦图像来估计深度信息(称为“聚焦深度”方法)。使用由对象检测单元210确定的对象轮廓及其深度信息，深度估计单元212可以获得每个人体对象的对象区域。对象区域可以是3D区域。例如，如图4所示，可以对应于司机A和乘客B确定司机对象区域和乘客对象区域。
由深度估计单元212确定的对象区域可以被转发到冲突检测单元214。冲突检测单元214可以被配置为检测司机和乘客之间的冲突。例如，图4表示出了用于检测司机A和乘客B之间的冲突的示例性方法。如图4所示，司机对象区域410和乘客对象区域420在正常条件下不重叠。当在司机A和乘客B之间发生冲突时，两个对象可以朝向彼此倾斜，因此对象区域410和420可以重叠、接触或变得彼此足够接近。
在一些实施例中，冲突检测单元214可以基于对象区域410和420的相对位置来确定是否可能发生冲突。在一些实施例中，可以计算物体区域410和420之间的距离，并且可以基于所述距离计算冲突的概率。例如，冲突检测单元214可以确定对象区域410和420的中心点，并计算所述中心点之间的距离d1。距离d1可以确定为d1＝|xdc-xpc|，其中，xdc是司机对象区域410的中心点，xpc是乘客对象区域420的中心点。因此，冲突概率Pc可以被确定为距离d1的函数。在一些实施例中，冲突概率Pc可以与距离d1成反比。换句话说，距离越短，冲突的概率就越大。例如，冲突检测单元214可以根据等式(1)确定Pc。
Figure BDA0001920700270000091
其中，xdc是司机对象区域410的中心点，xpc是乘客对象区域420的中心点，并且，Pc是冲突概率。
又例如，冲突检测单元214可以确定的对象区域410和420的彼此最近的点，并计算最近点之间的距离d2。距离d2可以确定为d2＝|xdn-xpn|，其中xdn以及xpn是对象区域410和420彼此最近的点。当对象区域410和420重叠(即，司机A和乘客B接触)时，距离d2变为0。冲突检测单元214然后可以计算冲突概率Pn可以被确定为距离d2的函数。在一些实施例中，冲突概率Pn也可以与距离d2成反比。例如，冲突检测单元214可以根据等式(2)确定Pn。
Figure BDA0001920700270000092
其中，xdn以及xpn是区域410和420的彼此最近的点，并且Pn是冲突概率。
作为又一示例，冲突检测单元214可以在确定冲突概率时融合深度信息和距离。如果与司机对象区域410相关联的深度信息图Map(d，i)和与乘客对象区域420相关联的深度信息图Map(p，j)相似，即，Map(d，i)-Map(p，j)≤δ，并且对象区域410和420之间的距离很短，则冲突的概率很高。否则，如果Map(d，i)和Map(p，j)相当不同，并且对象区域410和420之间的距离很短，则冲突的概率被确定为低。如上所述，冲突检测单元214考虑的“距离”可以是中心点之间的距离或对象区域410和420的最近点之间的距离。例如，根据等式(3)和(4)，可以分别基于这些距离确定冲突概率。
Figure BDA0001920700270000101
Figure BDA0001920700270000102
基于所确定的冲突概率，冲突检测单元214可以确定在司机A和乘客B之间是否发生或可能发生冲突。例如，冲突检测单元214将冲突概率与预设的阈值进行比较，例如0.8、0.9、0.95等。如果所述概率超过阈值，则冲突检测单元214可以检测所述冲突。
在一些实施例中，冲突检测单元214可以使用基于学习模型的方法来基于由深度估计单元212获得的深度信息来检测冲突。学习模型可以确定冲突概率，或者直接返回二元检测结果，即“冲突”或“无冲突”。可以使用与已知冲突(或无冲突)情况相关联的图像数据来训练学习模型。尽管图4表示出了司机和乘客之间的冲突的检测，但是可以预期可以类似地检测两个乘客之间的冲突。
返回参考图3，在一些实施例中，冲突检测单元214的检测结果可以由冲突确认单元216确认。如果基于在特定时间点或在短时间段内获取的图像数据检测到冲突，则检测结果可能不可靠。例如，乘客104可能偶尔倾向于司机102以便于交谈，或者传递信息或项目，例如具有目的地地址的纸张、显示旅行信息的移动电话等。因此，冲突确认单元216可以被配置为确认冲突并降低误报的可能性。在一些实施例中，冲突确认单元216可以生成控制信号以使相机110在相对长的时间段(例如，10、20或30秒)内获取更多的图像。或者，如果相机110捕获包含多个图像帧的视频，则冲突确认单元216可以在一段时间内(例如10、20或30秒)对图像帧进行采样。冲突确认单元216可以针对每个图像帧重复由单元210-214执行的检测过程。如果在样本图像帧上持续检测到冲突，则冲突确认单元216可以确认冲突并返回检测结果306。如果冲突检测是偶发的，并且其他图像帧的分析表明不存在冲突，则冲突确认单元216可以忽略此次冲突发现，并且不返回检测结果306。
返回参考图2，如果检测到冲突，则处理器204可以生成控制信号以触发警报并且通过通信接口202将控制信号发送到警报接收器130。在一些实施例中，警报接收器130可以是服务平台的冲突解决模块或警察局的服务器/控制器。在一些实施例中，控制信号可以触发对警报接收器130的电话呼叫。在其他一些实施例中，控制信号可以触发数据传输，包括例如车辆登记信息、司机信息、乘客信息、车辆位置并且可以将冲突的图像展示到警报接收器130。在一些其他实施例中，控制信号可以使警报接收器130产生警告通知，例如警报接收器130的显示屏上的弹出窗口、哔哔声、振动或音频警报，等等。
内存206和存储器208可以包括任何适当类型的大容量存储器，其被提供以存储处理器204可能需要操作的任何类型的信息。内存206和存储器208可以是易失性或非易失性、磁性、半导体、磁带、光学、可移动、不可移动或其他类型的存储设备或有形(即，非暂时性)计算机可读介质，包括但是不限于ROM、闪存、动态RAM和静态RAM。内存206和/或存储器208可以被配置为存储一个或以上计算机程序，其可以由处理器204执行以执行本文公开的图像数据处理和冲突检测。例如，内存206和/或存储器208可以被配置为存储程序，其可以由处理器204执行以从图像数据识别人体对象，估计人体对象的深度信息，并且基于深度信息检测冲突。
内存206和/或存储器208可以进一步被配置为存储处理器204使用的信息和数据。例如，内存206和/或存储器208可以被配置为存储由相机110捕获的各种类型的数据(例如，图像数据203)和与相机设置有关的数据。内存206和/或存储器208还可以存储中间数据，例如深度估计单元212估计的深度信息。内存206和/或存储器208可以进一步存储处理器204使用的各种学习模型，例如对象检测模型302和深度估计模型304。各种类型的数据可以永久存储、周期性地移除或者在处理每个数据帧之后立即被忽略。
图5示出了根据本申请的实施例所示的用于检测车内冲突的示例性方法500的流程图。在一些实施例中，方法500可以由控制器120实现。所述处理器包括处理器204以及其他设备。然而，方法500不限于该示例性实施例。方法500可以包括如下所述的步骤S502-S514。应当理解，一些步骤可以是可选的，以执行本文提供的本申请。此外，一些步骤可以同时执行，或者以与图5中所示不同的顺序执行。
在步骤S502，当车辆100正在完成服务行程时，相机110捕获车辆100内的至少一个对象的图像数据203。在一些实施例中，多个相机110可以安装在车辆110内的各个位置，并且从不同角度同时捕获图像数据。例如，相机110可以是安装在车辆100的仪表板上的后向相机或者嵌入安装在车辆100的仪表板上的GPS导航设备或蜂窝电话中。在一些实施例中，对象可包括司机(例如，司机102)、一个或以上乘客(例如，乘客104)、空座位(例如，空座位106)、安全带以及安装在车辆100内或带入车辆100(例如，水瓶108)的任何其他物品。
相机110可以被配置为连续地或在某些时间点捕获图像数据203。例如，相机110可以是被配置为捕获包含多个图像帧的视频的摄像机。在一些实施例中，图像数据203可以包含2D图像和/或3D图像。由相机110捕获的图像数据203可以例如通过网络发送到控制器120。
在步骤S504，控制器120从图像数据203内的图像中识别出司机对象和乘客对象。在某些实施例中，可以通过确定他们的轮廓信息来识别这些人体对象。在一些实施例中，对象检测单元210可以首先对图像数据203进行图像分割，以从图像中识别对象，然后使用对象检测模型302来检测所识别的对象中的人体对象。在一些替代实施例中，对象检测单元210可以首先使用对象检测模型302执行物体检测，以确定包含人体对象的边界区域，然后分割每个边界区域以识别人体对象。
在步骤S506，控制器120确定司机对象和乘客对象的深度信息。在一些实施例中，控制器120可以使用深度估计模型304来估计深度信息。使用在步骤S504确定的对象轮廓和深度信息，控制器120可以获得每个人体对象的对象区域。例如，如图4所示，可以对应于司机A和乘客B，确定司机对象区域410和乘客对象区域420。
在步骤S508，控制器120确定司机对象与乘客对象之间的距离。在一些实施例中，控制器120可以确定对象区域的中心点并计算中心点之间的距离d1。例如，如图4所示，距离d1可以确定为d1＝|xdc-xpc|，其中，xdc是司机对象区域410的中心点，xpc是乘客对象区域420的中心点。距离d1可以确定为d1＝|xdc-xpc|其中，xdc是司机对象区域410的中心点，xpc是乘客对象区域420的中心点。或者，控制器120可以确定对象区域410和420彼此最近的点，并计算最近点之间的距离d2。例如，距离d2可以确定为d2＝|xdn-xpn|，其中，xdn以及xpn是区域410和420的彼此最近的点。
在步骤S510，控制器120基于距离确定冲突概率。例如，可以根据等式(1)将冲突概率Pc确定为距离d1的函数。又例如，可以根据等式(2)确定冲突概率Pn作为距离d2的函数。在一些实施例中，冲突概率Pc和Pn可以分别与距离d1和d2成反比。
在一些其他实施例中，控制器120可以在确定冲突概率时融合深度信息和距离。如果与司机对象区域410相关联的深度信息图Map(d，i)和与乘客对象区域420相关联的深度信息图Map(p，j)相似，即，Map(d，i)-Map(p，j)≤δ，冲突概率可以根据等式(3)或(4)确定。在一些实施例中，控制器120可以使用基于学习模型的方法来基于深度信息检测冲突。
在步骤S512，控制器120可以将冲突概率与预设的阈值进行比较。例如，阈值可以设置为非常高，例如0.8、0.9或0.95。如果概率超过阈值(S512：是)，则方法500前进到步骤S514以生成警报。否则(S512：否)，方法500返回到步骤S502以继续捕获车辆100内的图像，然后重复步骤S504-S512以确定是否已经发生或可能发生冲突。在一些实施例中，如果在相机110捕获的多个图像帧中持续检测到在步骤S512检测到的冲突，则可以确认检测结果。如果冲突检测是零星的并且其他图像帧的分析表明不存在冲突，则控制器可以忽略此次冲突发现。
在步骤S514，控制器120产生控制信号以触发警报并将控制信号发送给警报接收器130，警报接收器130是服务平台或警察局。在某些实施例中，控制信号可以触发电话呼叫或向警报接收器130发送数据。例如，数据传输可以包括例如车辆登记信息、司机信息、乘客信息、车辆位置和可以显示冲突的图像。在一些实施例中，控制信号可以使警报接收器130产生警告通知，例如警报接收器130的显示屏上的弹出窗口、哔哔声、振动或音频警报等。
本申请的另一方面涉及一种存储指令的非暂时性计算机可读介质，所述指令在被执行时使得一个或以上处理器执行如上所述的方法。所述计算机可读介质包括易失性或非易失性、磁性、半导体、磁带、光学、可移动、不可移动或其他类型的计算机可读介质或计算机可读存储设备。例如，如本申请的计算机可读介质可以是存储设备或其上存储有计算机指令的存储模块。在一些实施例中，计算机可读介质可以是其上存储有计算机指令的盘或闪存驱动器。
显而易见，本领域普通技术人员可以对本申请的系统和相关方法进行各种修改和变化。考虑到本申请的系统和相关方法的说明书和实践，其他实施例对于本领域普通技术人员是显而易见的。
本申请中的说明书和示例的目的仅被认为是示例性的，真正的范围由以下权利要求及其等同物限定。

Claims (20)

1.一种用于检测车内冲突的系统，包括：
至少一台相机，所述相机被配置为捕获所述车辆中的至少两个图像；及
控制器，所述控制器与所述至少一个相机通信并被配置为：
从所述至少两个图像中检测人体对象；
估计各个人体对象深度信息；及
基于所述深度信息，检测所述冲突。
2.根据权利要求1所述的系统，其特征在于，所述检测到的人体对象包括司机对象和乘客对象，并且所述冲突的检测是基于所述司机对象和所述乘客对象之间的距离。
3.根据权利要求1所述的系统，其特征在于，为了检测所述人体对象，所述控制器被配置为：
根据学习模型，从所述至少两个图像中确定包含所述人体对象的的边界区域；及
分割所述边界区域以检测所述人体对象。
4.根据权利要求1所述的系统，其特征在于，为了检测所述人体对象，所述控制器被配置为：
分割所述至少两个图像以识别对象；及
基于学习模型，检测所述对象中的人体对象。
5.根据权利要求1所述的系统，其特征在于，所述各个人体对象的深度信息是使用学习模型估计的。
6.根据权利要求2所述的系统，其特征在于，所述控制器被进一步配置为：
根据所述司机对象和所述乘客对象的所述深度信息，确定所述司机对象与所述乘客对象之间的所述距离；及
根据所述距离，确定所述冲突的概率。
7.根据权利要求6所述的系统，其特征在于，所述冲突的概率与所述距离成反比。
8.根据权利要求6所述的系统，其特征在于，所述距离在所述司机对象和所述乘客对象的中心点之间。
9.根据权利要求6所述的系统，其特征在于，所述距离在所述司机对象和所述乘客对象的两个最近点之间。
10.一种用于检测车内冲突的方法，包括：
通过至少一个相机，捕获所述车辆中的至少两个图像；
通过处理器，从所述至少两个图像中检测人体对象；
通过所述处理器，估计各个人体对象的深度信息；以及
通过所述处理器，基于所述深度信息，检测所述冲突。
11.根据权利要求10所述的方法，其特征在于，所述检测到的人体对象包括司机对象和乘客对象，并且所述冲突的检测是基于所述司机对象和所述乘客对象之间的距离。
12.根据权利要求10所述的方法，其特征在于，检测所述人体对象进一步包括：
根据学习模型，从所述至少两个图像中确定包含所述人体对象的边界区域；及
分割所述边界区域以检测所述人体对象。
13.根据权利要求10所述的方法，其特征在于，检测所述人体对象还包括：
分割所述至少两个图像以识别对象；及
基于学习模型，检测所述对象中的人体对象。
14.根据权利要求10所述的方法，其特征在于，所述各个人体对象的深度信息是使用学习模型估计的。
15.根据权利要求11所述的方法，其特征在于，所述方法进一步包括：
根据所述司机对象和所述乘客对象的所述深度信息，确定所述司机对象与所述乘客对象之间的所述距离；及
根据所述距离，确定所述冲突的概率。
16.根据权利要求15所述的方法，其特征在于，所述冲突的概率与所述距离成反比。
17.根据权利要求15所述的方法，其特征在于，所述距离在所述司机对象和所述乘客对象的中心点之间。
18.根据权利要求15所述的方法，其特征在于，所述距离在所述司机对象和所述乘客对象的两个最近点之间。
19.一种非暂时性计算机可读介质，其存储一组指令，当由电子设备中的至少一个处理器执行时，使得所述电子设备执行用于检测车内冲突的方法，包括：
接收由至少一个相机捕获的所述车辆中的至少两个图像；
从所述至少两个图像中检测人体对象；
估计各个人体对象的深度信息；及
基于所述深度信息，检测所述冲突。
20.根据权利要求19所述的非暂时性计算机可读介质，其特征在于，所述所识别的人体对象包括司机对象和乘客对象，并且所述方法进一步包括：
根据所述司机对象和所述乘客对象的所述深度信息，确定所述司机对象与所述乘客对象之间的距离；及
根据所述距离，检测乘客-司机冲突。
CN201880002586.1A 2018-11-09 2018-11-09 用于检测车内冲突的系统和方法 Pending CN111433082A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2018/114681 WO2020093344A1 (en) 2018-11-09 2018-11-09 System and method for detecting in-vehicle conflicts

Publications (1)

Publication Number Publication Date
CN111433082A true CN111433082A (zh) 2020-07-17

Family

ID=70526739

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880002586.1A Pending CN111433082A (zh) 2018-11-09 2018-11-09 用于检测车内冲突的系统和方法

Country Status (11)

Country Link
US (2) US10922564B2 (zh)
EP (1) EP3676131A4 (zh)
JP (1) JP2021508386A (zh)
CN (1) CN111433082A (zh)
AU (1) AU2018286579A1 (zh)
BR (1) BR112021004557B1 (zh)
CA (1) CA3028170C (zh)
MX (1) MX2021002808A (zh)
SG (1) SG11201811455RA (zh)
TW (1) TWI716788B (zh)
WO (1) WO2020093344A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7031998B2 (ja) * 2019-04-19 2022-03-08 矢崎総業株式会社 オーディオ制御システム及びオーディオ制御方法
KR20190122606A (ko) * 2019-10-11 2019-10-30 엘지전자 주식회사 차량 내 객체 모니터링 장치 및 방법
DE102022202443A1 (de) 2022-03-11 2023-09-14 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren und Fahrzeuginnenraumkamera zum Bestimmen von Tiefeninformationen eines Objekts in einem Fahrzeuginnenraum

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS61119580A (ja) * 1984-11-13 1986-06-06 株式会社日立製作所 エレベ−タ−の防犯装置
JP3151780U (ja) * 2009-01-06 2009-07-09 美男 青木 アドタクシー運転手ガード板
CN202242887U (zh) * 2011-09-28 2012-05-30 刘鹏翔 一种汽车监控装置
CN105243838A (zh) * 2015-11-09 2016-01-13 北京奇虎科技有限公司 车辆行驶安全监控方法和装置、系统
CN107451524A (zh) * 2016-06-01 2017-12-08 丰田自动车株式会社 行为识别装置、学习装置、行为识别方法、学习方法及计算机可读的记录介质
US20180284798A1 (en) * 2017-03-31 2018-10-04 Honda Motor Co., Ltd. Vehicle control device
CN108694363A (zh) * 2017-04-12 2018-10-23 日立汽车系统株式会社 对车辆周围的行人进行检测的方法和装置

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN2411936Y (zh) * 2000-03-24 2000-12-27 黄金平 乘客声像备案防范装置
DE10131720B4 (de) * 2001-06-30 2017-02-23 Robert Bosch Gmbh Head-Up Display System und Verfahren
JP5016959B2 (ja) * 2007-03-27 2012-09-05 パナソニック株式会社 見え方度判定装置
JP2008260474A (ja) * 2007-04-13 2008-10-30 Denso Corp 車両用撮影装置
KR20080045101A (ko) * 2008-04-29 2008-05-22 임장운 이동용 보안 시스템
CN101625793A (zh) * 2008-07-08 2010-01-13 殷特科技股份有限公司 行车监控系统
JP2011128782A (ja) * 2009-12-16 2011-06-30 Information System Research Institute 車両用情報端末装置
JP2011154618A (ja) * 2010-01-28 2011-08-11 Fbinnovation Inc 移動体用乗客有無判断装置
US20120056982A1 (en) 2010-09-08 2012-03-08 Microsoft Corporation Depth camera based on structured light and stereo vision
CN103544820B (zh) * 2012-07-11 2015-08-26 张凯杰 出租车的安全监控系统及其方法
US9754154B2 (en) 2013-02-15 2017-09-05 Microsoft Technology Licensing, Llc Identification using depth-based head-detection data
DE102013219141A1 (de) 2013-09-24 2015-03-26 Robert Bosch Gmbh Interlock-Schaltkreis zur Absicherung eines elektrischen Bordnetzes
TWI546216B (zh) * 2014-01-16 2016-08-21 yu fan Cheng To the driver of abnormal behavior detection and warning based on the passenger and property protection methods
CN104166841B (zh) * 2014-07-24 2017-06-23 浙江大学 一种视频监控网络中指定行人或车辆的快速检测识别方法
CN104156737B (zh) * 2014-08-19 2017-07-11 哈尔滨工程大学 一种公交车乘客安全下车自动检测方法
KR102335045B1 (ko) 2014-10-07 2021-12-03 주식회사 케이티 깊이 카메라 기반 사람 객체를 판별하는 방법 및 장치
DE102014016222A1 (de) * 2014-10-31 2016-05-04 Audi Ag Verfahren und System zum Betreiben einer berührungssensitiven Anzeigeeinrichtung eines Kraftwagens
JP2017059103A (ja) * 2015-09-18 2017-03-23 パナソニックＩｐマネジメント株式会社 判定装置、判定方法、判定プログラムおよび記録媒体
US11479147B2 (en) * 2017-07-31 2022-10-25 Ford Global Technologies, Llc Vehicle occupancy management systems and methods
CN108694958B (zh) * 2018-04-26 2020-11-13 广州国音科技有限公司 一种安防报警方法及装置
US20200082287A1 (en) * 2018-09-10 2020-03-12 Here Global B.V. Method and apparatus for selecting a vehicle using a passenger-based driving profile
US11358605B2 (en) * 2018-09-10 2022-06-14 Here Global B.V. Method and apparatus for generating a passenger-based driving profile

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS61119580A (ja) * 1984-11-13 1986-06-06 株式会社日立製作所 エレベ−タ−の防犯装置
JP3151780U (ja) * 2009-01-06 2009-07-09 美男 青木 アドタクシー運転手ガード板
CN202242887U (zh) * 2011-09-28 2012-05-30 刘鹏翔 一种汽车监控装置
CN105243838A (zh) * 2015-11-09 2016-01-13 北京奇虎科技有限公司 车辆行驶安全监控方法和装置、系统
CN107451524A (zh) * 2016-06-01 2017-12-08 丰田自动车株式会社 行为识别装置、学习装置、行为识别方法、学习方法及计算机可读的记录介质
US20180284798A1 (en) * 2017-03-31 2018-10-04 Honda Motor Co., Ltd. Vehicle control device
CN108694363A (zh) * 2017-04-12 2018-10-23 日立汽车系统株式会社 对车辆周围的行人进行检测的方法和装置

Also Published As

Publication number Publication date
BR112021004557A2 (pt) 2021-06-08
CA3028170A1 (en) 2020-05-09
WO2020093344A1 (en) 2020-05-14
AU2018286579A1 (en) 2020-05-28
JP2021508386A (ja) 2021-03-04
SG11201811455RA (en) 2020-06-29
US10922564B2 (en) 2021-02-16
BR112021004557B1 (pt) 2023-09-26
TW202018654A (zh) 2020-05-16
EP3676131A1 (en) 2020-07-08
US20200151470A1 (en) 2020-05-14
CA3028170C (en) 2021-08-31
US20210133467A1 (en) 2021-05-06
EP3676131A4 (en) 2020-11-18
TWI716788B (zh) 2021-01-21
US11615545B2 (en) 2023-03-28
MX2021002808A (es) 2021-08-11

Similar Documents

Publication Publication Date Title
CN108628301B (zh) 用于操作自动驾驶车辆的时间数据关联
US11615545B2 (en) System and method for detecting in-vehicle conflicts
KR101083885B1 (ko) 지능형 운전 보조 시스템들
CN104776849B (zh) 车辆定位装置与方法
US10210387B2 (en) Method and apparatus for detecting and classifying objects associated with vehicle
CN111615721A (zh) 基于车辆与乘客之间进行识别的接送服务
CN111332309A (zh) 驾驶员监视系统及其操作方法
JP2013255168A (ja) 撮像装置、および撮像方法
US20180005384A1 (en) Motion determination system and method thereof
CN111319628A (zh) 用于评估错误威胁检测的方法和系统
CN106164931B (zh) 用于在车辆显示装置上显示目标的方法和装置
CN110941982A (zh) 乘车举止评价装置、评价系统、评价方法以及存储介质
US10410064B2 (en) System for tracking and identifying vehicles and pedestrians
CN111351474B (zh) 车辆移动目标检测方法、装置和系统
JP2012166705A (ja) 車載カメラレンズ用異物付着判定装置
WO2020107251A1 (en) System and method for detecting in-vehicle headcount
JP7186749B2 (ja) 管理システム、管理方法、管理装置、プログラム及び通信端末
CN113950020A (zh) 用于自主车辆的车辆共乘定位和乘客识别
AU2018102204A4 (en) System and method for detecting in-vehicle conflicts
CN110942619B (zh) 一种车辆确定方法、装置、系统及电子设备
JP7070827B2 (ja) 運転評価装置、車載機、これらを備えた運転評価システム、運転評価方法、及び運転評価プログラム
CN114059890B (zh) 控制装置、非临时性的计算机可读取的介质以及控制方法
JP2020057203A (ja) 画像処理装置、プログラム、情報処理システム、及び制御方法
US20240132092A1 (en) Device and method for notification
CN111726423B (zh) 一种基于云服务智能终端的移车提醒方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination