CN111508222A - 提供尖端行人辅助系统的方法及装置 - Google Patents

提供尖端行人辅助系统的方法及装置 Download PDF

Info

Publication number
CN111508222A
CN111508222A CN202010046100.3A CN202010046100A CN111508222A CN 111508222 A CN111508222 A CN 111508222A CN 202010046100 A CN202010046100 A CN 202010046100A CN 111508222 A CN111508222 A CN 111508222A
Authority
CN
China
Prior art keywords
information
pedestrian
smartphone
control unit
dangerous object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010046100.3A
Other languages
English (en)
Other versions
CN111508222B (zh
Inventor
金桂贤
金镕重
金寅洙
金鹤京
南云铉
夫硕焄
成明哲
吕东勳
柳宇宙
张泰雄
郑景中
渚泓模
赵浩辰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Stradvision Inc
Original Assignee
Stradvision Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Stradvision Inc filed Critical Stradvision Inc
Publication of CN111508222A publication Critical patent/CN111508222A/zh
Application granted granted Critical
Publication of CN111508222B publication Critical patent/CN111508222B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/005—Traffic control systems for road vehicles including pedestrian guidance indicator
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/26—Government or public services
    • G06Q50/265—Personal security, identity or safety
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B31/00—Predictive alarm systems characterised by extrapolation or other computation using updated historic data
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/07—Controlling traffic signals
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/095—Traffic lights
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72409—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
    • H04M1/72412—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories using two-way short-range wireless interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
    • H04M1/72457—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions according to geographic location
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2201/00—Electronic components, circuits, software, systems or apparatus used in telephone systems
    • H04M2201/34—Microprocessors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/10—Details of telephonic subscriber devices including a GPS signal receiver
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/12—Details of telephonic subscriber devices including a sensor for measuring a physical value, e.g. temperature or motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/52—Details of telephonic subscriber devices including functional features of a camera

Abstract

本发明涉及提供保护使用智能手机的行人的尖端行人辅助系统的方法。上述方法包括：上述智能手机使得位置跟踪单元，获取包括上述行人的位置信息及速度信息、上述智能手机的位置信息及速度信息的第一信息的步骤；使得检测单元，参照利用与上述智能手机联动的智能手机摄像头获取的图像以及上述第一信息，获取包括与上述行人邻近的危险区域的危险状态和危险对象的位置信息及速度信息的第二信息的步骤；以及使得控制单元，参照上述第一信息及上述第二信息计算上述行人的行走安全度后，通过上述智能手机向上述行人发送危险提醒。并且，上述方法可以用于监视领域或军事领域。

Description

提供尖端行人辅助系统的方法及装置
技术领域
本发明涉及提供保护使用至少一个智能手机的至少一个行人的尖端行人辅助系统(Advanced Pedestrian Assistance System)的方法及利用其的智能手机。
背景技术
最近，低头族(Smombie)一词已变得非常流行，英文是智能手机僵尸的意思，越来越多的行人因专注于智能手机而不能观察周边环境，导致危险情况。这种低头族不仅使自己处于危险之中，而且还可能危及他人，因此可能成为一个社会问题。
为了保护低头族，已开发了一种智能手机程序可以在低头族行走时长时间凝视屏幕等情况下简单警告低头族，但上述程序过于简单而无法警告对低头族可能发生的多种危险情况。
换句话说，没有针对低头族的安全和低头族周边的人的全面而精致的警告系统。
发明内容
技术问题
本发明的目的在于解决如上所述的问题。
本发明的目的在于，提供保护使用至少一个智能手机的至少一个行人的尖端行人辅助系统(Advanced Pedestrian Assistance System)，以保护上述行人及其周边的其他行人。
解决问题的手段
为了达成如上所述的本发明的目的，并带来后述的本发明的特征性效果，本发明的特性性结构如下：
根据本发明的一方面，公开一种方法，提供保护使用至少一个智能手机的至少一个行人的尖端行人辅助系统(Advanced Pedestrian Assistance System)，其特征在于，包括：步骤(a)，上述智能手机使得至少一个位置跟踪单元，参照利用至少一个高清地图(HighDefinition Map，HD Map)、至少一个全球定位系统(GPS，Global Positioning System)、以及至少一个惯性测量单元(IMU，inertial measurement unit)中包括的至少一个加速度传感器和至少一个陀螺传感器获取的信息中的至少一部分，获取包括上述行人的位置信息及速度信息、上述智能手机的位置信息及速度信息中的至少一部分的第一信息；步骤(b)，上述智能手机使得至少一个检测单元，参照利用与上述智能手机联动的一个以上智能手机摄像头获取的图像中的至少一部分以及上述第一信息，获取包括各个与上述行人邻近的危险区域的危险状态和危险对象的位置信息及速度信息的第二信息；以及步骤(c)，上述智能手机使得至少一个控制单元，参照上述第一信息及上述第二信息计算上述行人的至少一个行走安全度后，通过上述智能手机向上述行人发送危险提醒。
根据一实施例，本发明的特征在于，还包括：步骤(d)，上述智能手机使得上述控制单元，向与上述行人邻近的连接设备(connected device)中的至少一部分发送上述第一信息及上述第二信息中的至少一部分，上述连接设备包括与上述行人邻近的至少一个车辆、至少一个CCTV、至少一个其他行人的至少一个其他智能手机以及至少一个信号灯，上述连接设备中的至少一部分为上述危险对象中的至少一部分。
根据一实施例，本发明的特征在于，上述步骤(d)中，上述智能手机使得上述控制单元向与上述行人邻近的上述连接设备中的至少一部分发送上述第一信息及上述第二信息中的至少一部分，从而使得上述连接设备参照上述第一信息及上述第二信息中的至少一部分，以降低上述危险对象与上述行人之间发生碰撞的危险度的方向运行。
根据一实施例，本发明的特征在于，上述步骤(c)中，上述智能手机使得上述控制单元进一步参照第三信息判断上述行走安全度，上述第三信息包括上述智能手机使得上述控制单元和与上述行人邻近的连接设备中的至少一部分进行通信而生成的关于上述行人的周边情况的信息，上述连接设备包括与上述行人邻近的至少一个车辆、至少一个CCTV、至少一个其他行人的至少一个其他智能手机以及至少一个信号灯，上述连接设备中的至少一部分为上述危险对象中的至少一部分。
根据一实施例，本发明的特征在于，上述第三信息包括第3-1信息及第3-2信息中的至少一部分，上述第3-1信息包括与上述智能手机联动的上述智能手机摄像头的至少一个虚拟虚拟视锥体(Virtual Viewing Frustum)以及与上述连接设备联动的至少一个外部摄像头的至少一个虚拟虚拟视锥体中同时包括的第一特定危险对象的位置信息及速度信息，上述第3-2信息包括与上述智能手机联动的上述智能手机摄像头的上述虚拟虚拟视锥体中未包括但与上述连接设备联动的上述外部摄像头的上述虚拟虚拟视锥体中包括的第二特定危险对象的位置信息及速度信息，上述智能手机使得上述控制单元，参照上述第3-1信息验证上述第二信息的可靠性，并参照上述第3-2信息获取关于至少一个未检测危险对象的信息。
根据一实施例，本发明的特征在于，上述步骤(c)中，上述智能手机使得上述控制单元，参照(i)上述第三信息中包括的与上述行人邻近的信号灯的位置信息及信号状态信息；以及(ii)上述第一信息中包括的上述行人的上述位置信息及上述速度信息，生成上述行人的关注信号灯信息，并参照上述关注信号灯信息，通过上述智能手机向上述行人发送追加信号灯提醒。
根据一实施例，本发明的特征在于，上述第三信息包括：(i)与上述行人邻近的上述车辆的位置和速度；(ii)参照与上述行人邻近的上述CCTV获取的与上述行人邻近的上述危险对象的位置和速度；(iii)上述至少一个其他行人的位置和速度；以及(iv)与上述行人邻近的信号灯的位置信息及信号状态信息。
根据一实施例，本发明的特征在于，上述智能手机利用上述控制单元检测到与利用上述智能手机摄像头获取的上述图像相对应的上述高清地图上的至少一个区域的面积为临界值以下的情况下，使得上述控制单元通过上述智能手机向上述行人发送无法检测提醒。
根据一实施例，本发明的特征在于，上述智能手机参照遮挡信息及角度信息中的至少一部分，判断上述区域的面积为上述临界值以下的至少一种原因，根据各个上述原因通过上述智能手机向上述行人发送互不相同的警告提醒，上述遮挡信息是由至少一个分割单元获取的且是关于遮挡上述智能手机摄像头的至少一个镜头的至少一个妨碍对象的信息，上述角度信息是关于在以上述行人为中心的三维空间中定义上述行人的移动面的法线向量与上述智能手机摄像头的至少一个虚拟虚拟视锥体的中心轴之间的角度的信息。
根据一实施例，本发明的特征在于，上述步骤(c)中，上述智能手机使得上述控制单元，参照上述第一信息及上述第二信息，判断上述行人和与其邻近的上述危险对象在临界时间内发生碰撞的危险度的概率，从而生成上述行走安全度。
根据一实施例，本发明的特征在于，上述智能手机使得上述控制单元，通过上述智能手机向上述行人追加发送提供行动指南的提醒，以提高上述行走安全度。
根据一实施例，本发明的特征在于，上述智能手机使得上述控制单元，(i)参照上述第一信息中包括的加速度传感器信息，生成能够预测上述行人的移动速度变化的行人移动预测模型，(ii)参照上述行人移动预测模型，计算行人移动概率，上述行人移动概率是上述行人在上述临界时间内向与上述行人邻近的各个区域移动的概率，(iii)参照上述第二信息中的至少一部分，生成能够预测上述危险对象的移动速度变化的危险对象移动预测模型，(iv)参照上述危险对象移动预测模型，计算危险对象移动概率，上述危险对象移动概率是上述危险对象在上述临界时间内向与上述危险对象邻近的各个区域移动的概率，之后，(v)参照上述行人移动概率及上述危险对象移动概率生成上述行走安全度。
根据一实施例，本发明的特征在于，上述步骤(c)中，上述智能手机使得上述控制单元，参照上述第一信息及上述第二信息中包括的上述行人的上述位置信息及上述速度信息、以及关于上述危险区域的信息，判断上述行人是否将移动到上述危险区域之一中，从而生成上述行走安全度。
根据一实施例，本发明的特征在于，上述智能手机使得上述控制单元，(i)生成能够预测上述行人的移动速度变化的行人移动预测模型，(ii)参照上述行人移动预测模型，计算上述行人向与上述行人邻近的各个邻近区域移动的行人移动概率，之后，(iii)参照上述行人移动概率以及各个上述邻近区域是否与各个上述危险区域相对应，生成上述行走安全度。
根据一实施例，本发明的特征在于，上述步骤(b)中，上述智能手机使得上述检测单元，(i)利用上述检测单元中包括的至少一个卷积层、至少一个区域生成网络(RPN，Region Proposal Network)、至少一个全连接(FC，Fully Connected)层，检测各个上述图像中包括的与上述行人邻近的上述危险对象，(ii)参照与上述智能手机摄像头的至少一个焦点距离相关的校准(calibration)信息以及上述第一信息，获取关于检测的上述危险对象的上述第二信息。
根据本发明的另一方面，公开一种智能手机，提供保护使用智能手机的至少一个行人的尖端行人辅助系统，其特征在于，包括：至少一个存储器，用于存储指令；以及至少一个处理器，执行上述指令来执行步骤(I)、步骤(II)以及步骤(III)，步骤(I)中，使得至少一个位置跟踪单元，参照利用至少一个高清地图(HD Map)、至少一个全球定位系统(GPS)、以及至少一个惯性测量单元(IMU)中包括的至少一个加速度传感器和至少一个陀螺传感器获取的信息中的至少一部分，获取包括上述行人的位置信息及速度信息、上述智能手机的位置信息及速度信息中的至少一部分的第一信息；步骤(II)中，使得至少一个检测单元，参照利用与上述智能手机联动的一个以上智能手机摄像头获取的图像中的至少一部分以及上述第一信息，获取包括各个与上述行人邻近的危险区域的危险状态和危险对象的位置信息及速度信息的第二信息；以及步骤(III)中，使得至少一个控制单元，参照上述第一信息及上述第二信息计算上述行人的至少一个行走安全度后，通过上述智能手机向上述行人发送危险提醒。
根据一实施例，本发明的特征在于，上述处理器还执行：步骤(IV)，使得上述控制单元，向与上述行人邻近的连接设备中的至少一部分发送上述第一信息及上述第二信息中的至少一部分，上述连接设备包括与上述行人邻近的至少一个车辆、至少一个CCTV、至少一个其他行人的至少一个其他智能手机以及至少一个信号灯，上述连接设备中的至少一部分为上述危险对象中的至少一部分。
根据一实施例，本发明的特征在于，上述步骤(IV)中，上述处理器使得上述控制单元向与上述行人邻近的上述连接设备中的至少一部分发送上述第一信息及上述第二信息中的至少一部分，从而使得上述连接设备参照上述第一信息及上述第二信息中的至少一部分，以降低上述危险对象与上述行人之间发生碰撞的危险度的方向运行。
根据一实施例，本发明的特征在于，上述步骤(III)中，上述处理器使得上述控制单元进一步参照第三信息判断上述行走安全度，上述第三信息包括上述处理器使得上述控制单元和与上述行人邻近的连接设备中的至少一部分进行通信而生成的关于上述行人的周边情况的信息，上述连接设备包括与上述行人邻近的至少一个车辆、至少一个CCTV、至少一个其他行人的至少一个其他智能手机以及至少一个信号灯，上述连接设备中的至少一部分为上述危险对象中的至少一部分。
根据一实施例，本发明的特征在于，上述第三信息包括第3-1信息及第3-2信息中的至少一部分，上述第3-1信息包括与上述智能手机联动的上述智能手机摄像头的至少一个虚拟虚拟视锥体以及与上述连接设备联动的至少一个外部摄像头的至少一个虚拟虚拟视锥体中同时包括的第一特定危险对象的位置信息及速度信息，上述第3-2信息包括与上述智能手机联动的上述智能手机摄像头的上述虚拟虚拟视锥体中未包括但与上述连接设备联动的上述外部摄像头的上述虚拟虚拟视锥体中包括的第二特定危险对象的位置信息及速度信息，上述处理器使得上述控制单元，参照上述第3-1信息验证上述第二信息的可靠性，并参照上述第3-2信息获取关于至少一个未检测危险对象的信息。
根据一实施例，本发明的特征在于，上述步骤(III)中，上述处理器使得上述控制单元，参照(i)上述第三信息中包括的与上述行人邻近的信号灯的位置信息及信号状态信息；以及(ii)上述第一信息中包括的上述行人的上述位置信息及上述速度信息，生成上述行人的关注信号灯信息，并参照上述关注信号灯信息，通过上述智能手机向上述行人发送追加信号灯提醒。
根据一实施例，本发明的特征在于，上述第三信息包括：(i)与上述行人邻近的上述车辆的位置和速度；(ii)参照与上述行人邻近的上述CCTV获取的与上述行人邻近的上述危险对象的位置和速度；(iii)上述至少一个其他行人的位置和速度；以及(iv)与上述行人邻近的信号灯的位置信息及信号状态信息。
根据一实施例，本发明的特征在于，上述处理器利用上述控制单元检测到与利用上述智能手机摄像头获取的上述图像相对应的上述高清地图上的至少一个区域的面积为临界值以下的情况下，使得上述控制单元通过上述智能手机向上述行人发送无法检测提醒。
根据一实施例，本发明的特征在于，上述处理器参照遮挡信息及角度信息中的至少一部分，判断上述区域的面积为上述临界值以下的至少一种原因，根据各个上述原因通过上述智能手机向上述行人发送互不相同的警告提醒，上述遮挡信息是由至少一个分割单元获取的且是关于遮挡上述智能手机摄像头的至少一个镜头的至少一个妨碍对象的信息，上述角度信息是关于在以上述行人为中心的三维空间中定义上述行人的移动面的法线向量与上述智能手机摄像头的至少一个虚拟虚拟视锥体的中心轴之间的角度的信息。
根据一实施例，本发明的特征在于，上述步骤(III)中，上述处理器使得上述控制单元，参照上述第一信息及上述第二信息，判断上述行人和与其邻近的上述危险对象在临界时间内发生碰撞的危险度的概率，从而生成上述行走安全度。
根据一实施例，本发明的特征在于，上述处理器使得上述控制单元，通过上述智能手机向上述行人追加发送提供行动指南的提醒，以提高上述行走安全度。
根据一实施例，本发明的特征在于，上述处理器使得上述控制单元，(i)参照上述第一信息中包括的加速度传感器信息，生成能够预测上述行人的移动速度变化的行人移动预测模型，(ii)参照上述行人移动预测模型，计算行人移动概率，上述行人移动概率是上述行人在上述临界时间内向与上述行人邻近的各个区域移动的概率，(iii)参照上述第二信息中的至少一部分，生成能够预测上述危险对象的移动速度变化的危险对象移动预测模型，(iv)参照上述危险对象移动预测模型，计算危险对象移动概率，上述危险对象移动概率是上述危险对象在上述临界时间内向与上述危险对象邻近的各个区域移动的概率，之后，(v)参照上述行人移动概率及上述危险对象移动概率生成上述行走安全度。
根据一实施例，本发明的特征在于，上述步骤(III)中，上述处理器使得上述控制单元，参照上述第一信息及上述第二信息中包括的上述行人的上述位置信息及上述速度信息、以及关于上述危险区域的信息，判断上述行人是否将移动到上述危险区域之一中，从而生成上述行走安全度。
根据一实施例，本发明的特征在于，上述处理器使得上述控制单元，(i)生成能够预测上述行人的移动速度变化的行人移动预测模型，(ii)参照上述行人移动预测模型，计算上述行人向与上述行人邻近的各个邻近区域移动的行人移动概率，之后，(iii)参照上述行人移动概率以及各个上述邻近区域是否与各个上述危险区域相对应，生成上述行走安全度。
根据一实施例，本发明的特征在于，上述步骤(II)中，上述处理器使得上述检测单元，(i)利用上述检测单元中包括的至少一个卷积层、至少一个区域生成网络、至少一个全连接层，检测各个上述图像中包括的与上述行人邻近的上述危险对象，(ii)参照与上述智能手机摄像头的至少一个焦点距离相关的校准信息以及上述第一信息，获取关于检测的上述危险对象的上述第二信息。
发明的效果
本发明提供保护使用至少一个智能手机的至少一个行人的尖端行人辅助系统(Advanced Pedestrian Assistance System)，具有能够保护上述行人及其周边的其他行人的效果。
附图说明
为了说明本发明的实施例而所附的以下附图只是本发明的实施例中的一部分，本发明所属领域的普通技术人员(以下，“普通技术人员”)可以在不付出创造性劳动的情况下通过该附图得出其他附图。
图1简要示出根据本发明一实施例的提供保护使用至少一个智能手机的至少一个行人的尖端行人辅助系统(Advanced Pedestrian Assistance System)的上述智能手机的结构。
图2简要示出根据本发明一实施例的保护使用上述智能手机的上述行人的上述尖端行人辅助系统的结构。
图3简要示出根据本发明一实施例的保护使用上述智能手机的上述行人的上述尖端行人辅助系统参照上述行人向各个邻近的区域移动的概率计算至少一个行走安全度的过程。
图4简要示出根据本发明一实施例的保护使用上述智能手机的上述行人的上述尖端行人辅助系统参照上述行人与一个以上危险对象发生碰撞的危险度的概率计算上述行走安全度的过程。
图5a及图5b简要示出根据本发明一实施例的保护使用上述智能手机的上述行人的上述尖端行人辅助系统获取的第3-1信息及第3-2信息相关情况。
图6简要示出根据本发明一实施例的保护使用上述智能手机的上述行人的上述尖端行人辅助系统使用的智能手机摄像头的各个视锥体(viewing frustum)的中心轴与地面之间的角度信息。
具体实施方式
以下，本发明能够实施的特定实施例为例，参照附图对本发明进行详细说明，本发明的目的、技术手段及优点将更加明确。普通技术人员可以参照对这些实施例的详细说明充分实施这些实施例。
并且，本发明的详细说明及权利要求书中，术语“包括”及其变形不排除其他技术特征、附加物、结构要素或步骤等。对普通技术人员而言，本发明的其他目的、优点及特性的一部分可以从本说明书得知，一部分可以在实施本发明的过程中得知。以下例示及附图只是实例，本发明并不局限于此。
进而，本发明包括本说明书中提供的多个实施例的所有组合。本发明的各种实施例虽然不同但不必相互排斥。例如，本文所记载的特定形状、结构及特性，在一实施例中不脱离本发明的思想及范围的情况下还可体现为另一实施例。并且，所公开的各个实施例内的个别结构要素的位置或配置可以在不脱离本发明的思想及范围的情况下进行变更。因此，后述的详细说明并不是限定的意思，只要能适当说明，本发明的范围应根据与权利要求书的范围等同的所有范围和所附的权利要求书而定。附图中类似的附图标记在多个方面指类似的功能。
本发明中提及的各种图像可以包括柏油马路或非柏油马路的相关图像，这种情况下可以假设包括马路环境中可以出现的物体(假如车辆、人、动物、植物、物体、建筑物、飞机或无人机等飞行物、其他障碍物)，但并不局限于此。本发明中提及的各种图像还可以为与马路无关的图像(假如非柏油马路、胡同、空地、海、湖、河、山、树林、沙漠、天空、与室内相关的图像)，这种情况下可以假设包括非柏油马路、胡同、空地、海、湖、河、山、树林、沙漠、天空、室内环境中可以出现的物体(假如车辆、人、动物、植物、物体、建筑物、飞机或无人机等飞行物、其他障碍物)，但并不局限于此。
以下，为了使本发明所属领域的普通技术人员容易实施本发明，参照附图对本发明的优选实施例进行详细说明。
图1简要示出根据本发明一实施例的提供保护使用至少一个智能手机的至少一个行人的尖端行人辅助系统的上述智能手机的结构。
参照图1，上述智能手机100可以包括上述尖端行人辅助系统200以及至少一个数据库(DB)300，这些结构要素将在下面详细说明。上述尖端行人辅助系统(AdvancedPedestrian Assistance System)200以下称为APAS200。上述APAS200以及上述数据库300的输入、输入及运算过程分别可以由通信部110及处理器120实现。但是，图1中省略了上述通信部110以及上述处理器120之间的具体连接关系。此时，存储器15可以处于存储后述的多种指令的状态，上述处理器120可以设置成执行存储于上述存储器115的上述指令，可以通过执行后述的指令来执行本发明的步骤。即使以这种方式说明了上述智能手机100，也不排除上述智能手机100包括用于实施本发明的介质、处理器、存储器或其他计算用结构要素整合的形态的整合处理器的情况。
并且，上述智能手机100可以与一个以上智能手机摄像头400以及一个以上连接设备500交换数据，在下面具体说明上述APAS200时一起说明这种交换过程。
图2简要示出根据本发明一实施例的保护使用上述智能手机的上述行人的上述尖端行人辅助系统的结构。
上述尖端行人辅助系统200可以包括至少一个位置跟踪单元210、至少一个检测单元220、至少一个控制单元230、至少一个分割单元240、至少一个惯性测量单元(IMU，inertial measurement unit)250以及至少一个全球定位系统(GPS，Global PositioningSystem)260。下面将详细说明，上述惯性测量单元250基本上可以生成用于输入至上述各个单元的传感器信息，上述位置跟踪单元210、上述检测单元220以及上述控制单元230不仅利用上述传感器信息，而且利用通过上述全球定位系统260获取的信息、通过上述智能手机摄像头400获取的一个以上图像以及通过上述连接设备500获取的信息，从而保护使用上述智能手机100的上述行人。下面将详细说明，上述分割单元240可以检测对象是否遮挡上述智能手机摄像头400的视野。
以上，简单说明了上述智能手机100及其中包括的上述尖端行人辅助系统200的结构，以下，将具体说明上述尖端行人辅助系统200的运行。
首先，上述智能手机100可以使得上述位置跟踪单元210，获取上述数据库300中包括的高清地图(High Definition Map)信息、来自上述全球定位系统260的位置信息以及来自上述惯性测量单元250的传感器数据。从上述惯性测量单元250获取的上述传感器数据可以包括通过至少一个加速度传感器或至少一个陀螺传感器等用于测定上述智能手机100的惯性的传感器生成的信息。若获取到这种信息，则上述智能手机100可以使得上述位置跟踪单元210，参照利用上述高清地图、上述GPS以及上述IMU中包括的上述加速度传感器和上述陀螺传感器获取的上述信息中的至少一部分，获取包括使用上述智能手机100的上述行人的位置信息及速度信息、上述智能手机100的位置信息及速度信息中的至少一部分的第一信息。
大部分情况下，上述行人的位置信息与上述智能手机100的位置信息类似，上述行人的速度信息与上述智能手机的速度信息类似，上述智能手机与上述行人之间的移动速度差较大的情况下需要进行校正。以下，说明这种情况。
首先，上述智能手机100可以使得上述位置跟踪单元210，利用通过上述智能手机摄像头400获取的上述图像，从连接上述行人的两眼的横线和经过鼻子的竖线的交点计算上述行人的各个两眼距离，并参照上述距离的比例，计算表示上述智能手机以上述行人的身体为基准倾斜的程度的角度。该计算可以参照表示上述角度和上述比例之间的关系的高斯分布模型(Gaussian distribution model)。之后，综合与上述智能手机的速度信息和上述角度相对应的向量，计算上述行人的速度信息。
之后，上述智能手机100可以使得上述检测单元220，参照利用与上述智能手机100联动的上述智能手机摄像头400获取的图像中的至少一部分以及上述第一信息，获取包括与上述行人邻近的危险区域的各个危险状态和危险对象的位置信息及速度信息的第二信息。上述危险区域是指对上述行人可能造成危险的区域，例如可以为车道或工地附近。上述危险对象是指行人周边可以与上述行人发生碰撞的所有对象，其包括车辆、路灯、电线杆等对象以及其他行人。下面说明为了获取这种上述第二信息而对上述图像中的至少一部分以及上述第一信息进行的运算。
首先，上述检测单元220可以由CNN构成，可以通过至少一个神经网络运算获取上述第二信息。即，上述检测单元220可以利用至少一个卷积层、至少一个RPN、至少一个FC层，检测从上述智能手机摄像头400获取的各个上述图像中包括的上述行人周边的对象。之后，可以参照与上述智能手机摄像头400的焦点距离(focal length)相关的校准(calibration)信息以及上述第一信息中包括的上述智能手机100的位置信息及速度信息，利用上述危险对象的位置信息及速度信息获取上述第二信息。
详细说明获取上述危险对象的位置信息的过程，上述检测单元220可以参照上述智能手机100的位置信息，获取与上述智能手机100联动的上述智能手机摄像头400的位置信息。具体地，掌握上述智能手机100的类型或机型，参照其设计图，获取上述智能手机摄像头400与上述智能手机100的中心的距离信息后，参照关于上述智能手机的位置信息以及上述智能手机摄像头400与上述智能手机100的中心的的距离信息的获取的上述信息，计算上述智能手机摄像头400的位置信息。以这种方式获取上述智能手机摄像头400的位置信息后，可以计算从各个上述图像的各个中心至各个上述危险对象的各个二维距离，进一步参照上述焦点距离，计算从上述智能手机摄像头400至各个上述危险对象的各个三维距离，参照上述三维距离和上述智能手机摄像头400的位置信息，获取各个上述危险对象的位置信息。
参照从上述智能手机摄像头400连续获取的多个上述图像，分别计算上述智能手机摄像头400与上述危险对象之间的相对速度后，利用所计算的各个上述相对速度和上述智能手机的上述速度信息计算关于上述智能手机摄像头400的速度信息，参照该速度信息计算上述危险对象的速度信息。
若获取到上述危险对象的位置信息及速度信息，则上述智能手机100可以使得上述控制单元230，参照上述第一信息及上述第二信息计算上述行人的至少一个行走安全度后，参照上述行走安全度，通过上述智能手机100向上述行人发送危险提醒。
生成上述行走安全度时可以考虑上述危险区域及上述危险对象，首先说明考虑上述危险区域的方式。
上述智能手机100使得上述控制单元230，参照上述第一信息及上述第二信息中包括的上述行人的位置信息及速度信息、以及关于上述危险区域的信息，判断上述行人是否将移动到上述危险区域之一中，从而生成上述行走安全度。具体地，上述智能手机100可以使得上述控制单元230，(i)生成能够预测上述行人的移动速度变化的行人移动预测模型，(ii)参照上述行人移动预测模型，计算一个以上行人移动概率，上述行人移动概率是上述行人向各个邻近区域移动的概率，(iii)参照各个上述邻近区域是否与各个上述危险区域相对应以及上述行人移动概率，生成上述行走安全度。
上述行人移动预测模型可以包括两个具体模型，一种用于预测上述行人的移动速度，另一种用于预测上述行人的移动方向。预测上述行人的上述移动速度的具体模型可以为特定第一分布的高斯分布模型，以通过上述惯性测量单元250中包括的上述加速度传感器获取的上述行人的加速度的绝对值为基准点，具有0的加速度变化量的平均值和预设的分散。并且，预测上述行人的上述移动方向的具体模块可以为特定第二分布的模型，以上述行人的加速度中包括的上述移动方向相关信息为基准点，具有0的移动方向变化量的平均值和预设的分散。参照图3对本方式的例示进行说明。
图3简要示出根据本发明一实施例的保护使用上述智能手机的上述行人的上述尖端行人辅助系统参照上述行人向各个邻近的区域移动的概率计算上述行走安全度的过程。
参照图3可知，根据如上所述的方法计算了上述行人向与自己邻近的区域移动的概率。根据上述分布模型可以确认到，上述行人以初期速度和初期方向移动的概率最高，向正面区域移动概率为0.8，向左侧和右侧区域移动概率分别为0.15和0.05。图3中S表示该区域为安全区域，D表示该区域为危险区域，图3的例示中上述行人向上述危险区域移动的概率为0.2，较低，因此上述尖端行人辅助系统200可以将上述行走安全度判断为较高。
以上说明了参照上述危险区域计算上述行走安全度的方式，以下说明参照上述危险对象计算上述行走安全度的方式。
上述智能手机100可以使得上述控制单元230，参照上述第一信息及上述第二信息，判断上述行人和与其邻近的上述危险对象在临界时间内发生碰撞的至少一个危险度的概率，从而生成上述行走安全度。具体地，上述智能手机100可以使得上述控制单元230，生成如上所述的上述行人移动预测模型以及能够预测上述危险对象的移动速度变化的危险对象移动预测模型。并且，参照上述行人移动预测模型，计算行人移动概率，上述行人移动概率是上述行人在上述临界时间内向与上述行人邻近的各个区域的概率，参照上述危险对象移动预测模型计算危险对象移动概率，上述危险对象移动概率是上述危险对象在上述临界时间内向与上述危险对象邻近的各个区域移动的概率。之后，可以参照上述行人移动概率及上述危险对象移动概率，生成上述行走安全度。
上述危险对象移动预测模型可以参照上述第二信息中包括的上述危险对象的位置信息及速度信息，以与上述行人移动预测模型类似的方式生成。
上述行人移动概率及上述危险对象移动概率可以分别为表示在各个时间各个位置存在上述行人以及上述危险对象的概率的函数，上述控制单元230参照以上述临界时间对上述两个概率的乘积进行积分的结果，生成上述行走安全度。参照图4说明这种情况的例示。
图4简要示出根据本发明一实施例的保护使用上述智能手机的上述行人的上述尖端行人辅助系统参照上述行人与一个以上危险对象发生碰撞的危险度的概率计算上述行走安全度的过程。
参照图4可知，上述行人移动概率分别为p1(t)、p2(t)以及p3(t)，与其对应的上述危险对象移动概率分别为q1(t)、q2(t)以及q3(t)。此时，上述控制单元230计算各个概率的乘积后进行积分。其数学式如下：
Figure BDA0002369450000000151
上述积分式中T可以为上述临界时间。
上述积分的结果表示上述危险对象与上述行人发生碰撞的上述危险度，上述控制单元230可以参照上述危险度计算上述行走安全度。
此时，因上述危险对象而计算出的上述行走安全度较低的情况下，除了向上述行人发送提醒，还可以建议能够提高上述行走安全度的行动。即，上述智能手机100可以使得上述控制单元230，向上述行人追加发送提供行动指南的提醒，以使上述行人能够避开上述危险对象。例如，上述危险对象中的一个向第一特定方向移动时，可以提供向第二特定方向移动的上述行动指南，以使上述行人能够避开上述危险对象。
像这样，上述智能手机100使得上述控制单元230，计算上述行走安全度来为上述行人提供安全。然而，以上说明的内容仅利用通过上述智能手机100和与其联动的上述智能手机摄像头400获取的信息计算上述行走安全度，如果进一步利用从与上述行人邻近的上述连接设备500获取的信息计算上述行走安全度，可以为上述行人提供更好的安全。因此，以下说明利用从上述连接设备500获取的信息的方式。
即，上述智能手机100可以使得上述控制单元230，参照第三信息计算上述行走安全度。此时，上述第三信息包括上述智能手机100使得上述控制单元230和与上述行人邻近的连接设备中的至少一部分进行通信而生成的关于上述行人的周边情况的信息，上述连接设备包括与上述行人邻近的至少一个车辆、至少一个CCTV、至少一个其他行人的至少一个其他智能手机以及至少一个信号灯，上述连接设备中的至少一部分可以为上述危险对象中的至少一部分。例如，上述第三信息可以包括由上述CCTV生成的影像中显示的上述危险对象的位置信息和速度信息。
上述第三信息可以包括至少两种具体信息，即，第3-1信息及第3-2信息。
上述第3-1信息可以包括与上述智能手机100联动的上述智能手机摄像头400的至少一个虚拟虚拟视锥体(Virtual Viewing Frustum)以及与上述连接设备500联动的至少一个外部摄像头的至少一个虚拟虚拟视锥体中同时包括的第一特定危险对象的位置信息及速度信息，上述第3-2信息可以包括与上述智能手机100联动的上述智能手机摄像头400的上述虚拟虚拟视锥体中未包括但与上述连接设备500联动的上述外部摄像头的上述虚拟虚拟视锥体中包括的第二特定危险对象的位置信息及速度信息。
上述第3-1信息和上述第3-2信息可以分别起到不同的作用，具体地，上述智能手机100可以使得上述控制单元230参照上述第3-1信息验证上述智能手机100生成的上述第二信息的可靠性，并参照上述第3-2信息获取自己未检测的关于至少一个未检测危险对象的信息。利用上述第3-1信息可以使上述行走安全度更加准确，利用上述第3-2信息可以使上述行走安全度反应更多的信息。参照图5a以及图5b说明上述第3-1信息和上述第3-2信息的例示。
图5a及图5b简要示出根据本发明一实施例的保护使用上述智能手机的上述行人的上述尖端行人辅助系统获取的第3-1信息及第3-2信息相关情况。
图5a图示与上述第3-1信息相关的情况的例示，上述第一特定危险对象由与上述智能手机100联动的上述智能手机摄像头400和与上述CCTV联动的摄像头两者同时检测出。这种情况下，上述智能手机100利用关于上述第一特定危险对象的上述第三信息，验证通过上述检测单元220获取的上述第二信息。
图5b图示与上述第3-2信息相关的情况的例示，上述第二特定危险对象由与上述智能手机100联动的上述智能手机摄像头400未检测但由与上述CCTV联动的摄像头检测出。这种情况下，上述第二信息不包括关于上述第二特定危险对象的信息，因此上述智能手机100可以参照上述第3-2信息追加获取关于上述第二特定危险对象的信息。
并且，上述智能手机100使得上述控制单元230，不仅参照上述行走安全度发送上述危险提醒，而且提供关于信号灯的信息，下面说明这种情况。
即，上述智能手机100使得上述控制单元230，参照(i)上述第三信息中包括的与上述行人邻近的信号灯的位置信息及信号状态信息；以及(ii)上述第一信息中包括的上述行人的上述位置信息及上述速度信息，生成上述行人的关注信号灯信息，并参照上述关注信号灯信息，通过上述智能手机100向上述行人发送追加信号灯提醒。具体地，上述控制单元230可以参照上述行人的位置信息及速度信息生成上述行人的虚拟移动路径，并可以参照上述第三信息获取位于上述行人的虚拟移动路径周边的上述信号灯的位置信息及信号状态信息。
像这样，上述智能手机100可以利用从上述连接设备500获取的信息，相反，上述连接设备500可以利用上述智能手机100获取的信息。
即，上述智能手机100使得上述控制单元230，向与上述行人邻近的上述连接设备500中的至少一部分发送上述第一信息及上述第二信息中的至少一部分，从而使得上述连接设备参照获取的上述第一信息及上述第二信息中的至少一部分，以降低上述危险对象与上述行人之间发生碰撞的危险度的方向运行。上述连接设备500中，与上述智能手机100相同或类似的装置可以与上述智能手机100利用上述第三信息的方式类似的方式利用上述第一信息及上述第二信息中的至少一部分。
另一方面，上述智能手机100要向上述行人提供上述尖端行人辅助系统200时，需要利用上述智能手机摄像头400获取充分的信息，但根据上述行人的上述智能手机100的使用模式而会发生无法获取充分的信息的情况。这种情况下，需要向上述行人发送关于这种情况的提醒，使得上述行人纠正自己的行动，下面说明这种情况。
即，上述智能手机100利用上述控制单元230检测到与利用上述智能手机摄像头400获取的上述图像相对应的上述高清地图上的至少一个区域的面积为临界值以下的情况下，可以使得上述控制单元230通过上述智能手机向上述行人发送无法检测提醒。其原因在于，与利用上述智能手机摄像头400获取的图像相对应的上述高清地图上的区域越大，上述智能手机100可以获取的与上述危险对象相关的信息越多。
然而，如上所述，上述高清地图上的上述区域的面积小于上述临界值的情况下，上述智能手机摄像头400的至少一个镜头被至少一个对象(例如，手指)遮挡，或者上述行人以与地面几乎平行的方式手持上述智能手机100。这两种情况的解决方法不同，因此需要区分这两种情况的方案，下面说明这种方案。
具体地，上述智能手机100可以参照遮挡信息及角度信息中的至少一部分，判断上述区域的面积为上述临界值以下的至少一种原因，上述遮挡信息是由至少一个分割单元240获取的且是关于遮挡上述智能手机摄像头的至少一个镜头的至少一个妨碍对象的信息，上述角度信息是关于在以上述行人为中心的三维空间中定义上述行人的移动面的法线向量与上述智能手机摄像头的至少一个虚拟虚拟视锥体的中心轴之间的角度的信息。之后，根据各个上述原因通过上述智能手机向上述行人发送互不相同的警告提醒，
上述分割单元240将利用上述智能手机摄像头400获取的上述图像的至少一个区域分割成像素单位，判断是否存在遮挡上述镜头的妨碍对象。其可以由上述CNN构成，上述CNN参照存在上述妨碍对象的输入图像、不存在上述妨碍对象的输入图像以及与它们相对应的GT，计算一个以上损失后进行反向传播，从而处于经学习的状态。
上述角度信息可以参照上述惯性测量单元250中包括的上述加速度传感器及上述陀螺传感器获取的信息来生成。参照图6，说明如何利用上述角度信息。
图6简要示出根据本发明一实施例的保护使用上述智能手机的上述行人的上述尖端行人辅助系统使用的智能手机摄像头的各个视锥体的中心轴与地面之间的角度信息。
参照图6可知，在以上述行人为中心的三维空间中，定义上述行人的移动面的法线向量与上述智能手机摄像头的至少一个虚拟虚拟视锥体的中心轴之间的角度大的情况下(θ2)，上述虚拟虚拟视锥体照射上述地面的较小的面，角度小的情况下(θ1)，上述虚拟虚拟视锥体照射上述地面的较大的面。
因此，上述区域小且上述角度(θ2)大于临界角度的情况下，表示上述行人以与地面几乎平行的方式手持上述智能手机100，因此上述智能手机100使得上述控制单元230通过上述智能手机100向上述行人发送提醒，以倾斜方式手持上述智能手机100。相反，上述区域大且上述角度(θ1)小于临界角度的情况下，参照上述分割单元240生成的上述遮挡信息，判断为上述妨碍对象在上述图像占有上述临界区域以上的区域的情况下，上述智能手机100使得上述控制单元230向上述行人发送提醒，以去除上述妨碍对象。
像这样，以全面且精致的方式提供上述尖端行人辅助系统，有助于上述行人的安全。
本发明所属领域的普通技术人员可以理解，以上说明的图像，例如原图像、原标签以及追加标签等图像数据的收发可以由智能手机的通信部实现，与特征图进行运算的数据存储/维持在智能手机的处理器(和/或传感器)，卷积运算、反卷积运算、损失值运算过程主要由智能手机的处理器执行，但本发明并不局限于此。
本发明的如上所述的方法可以用于监视领域或军事领域。
并且，以上说明的本发明的实施例能够以通过各种计算机结构要素执行的程序命令的形态体现并存储在计算机可读存储介质。上述计算机可读存储介质可以包括程序命令、数据文件、数据结构等或它们的组合。上述计算机可读存储介质中存储的程序命令可以是为本发明特殊设计并构成的，或者可以是由计算机软件领域的普通技术人员公知使用的。计算机可读存储介质的例包括硬盘、软盘及磁带等磁介质、CD-ROM、DVD等光存储介质、光磁软盘(floptical disk)等磁光介质(magneto-optical media)、以及ROM、RAM、快闪存储器等为了存储并执行程序命令而特殊构成的硬件装置。程序命令的例包括由编译器制成的机器语言代码以及利用解析器等可由计算机执行的高级语言代码。上述硬件装置能够以一个以上软件模块运行，以便执行本发明的处理，相反情况也一样。
以上，通过限定的实施例及附图对本发明的具体结构要素等特定事项进行了说明，但这仅仅用于提供对本发明的更全面的理解，本发明并不局限于上述实施例，本发明所属领域的普通技术人员可以在这些记载的基础上进行各种修改及变形。
因此，本发明的思想并不局限于所说明的上述实施例，权利要求书及其等同或等价变换的所有内容均属于本发明的思想范畴。

Claims (30)

1.一种方法，其特征在于，提供保护使用至少一个智能手机的至少一个行人的尖端行人辅助系统，包括：
步骤(a)，所述智能手机使得至少一个位置跟踪单元，参照利用至少一个高清地图、至少一个全球定位系统、以及至少一个惯性测量单元中包括的至少一个加速度传感器和至少一个陀螺传感器获取的信息中的至少一部分，获取包括所述行人的位置信息及速度信息、所述智能手机的位置信息及速度信息中的至少一部分的第一信息；
步骤(b)，所述智能手机使得至少一个检测单元，参照利用与所述智能手机联动的一个以上智能手机摄像头获取的图像中的至少一部分以及所述第一信息，获取包括各个与所述行人邻近的危险区域的危险状态和危险对象的位置信息及速度信息的第二信息；以及
步骤(c)，所述智能手机使得至少一个控制单元，参照所述第一信息及所述第二信息计算所述行人的至少一个行走安全度后，通过所述智能手机向所述行人发送危险提醒。
2.根据权利要求1所述的方法，其特征在于，还包括：
步骤(d)，所述智能手机使得所述控制单元，向与所述行人邻近的连接设备中的至少一部分发送所述第一信息及所述第二信息中的至少一部分，所述连接设备包括与所述行人邻近的至少一个车辆、至少一个CCTV、至少一个其他行人的至少一个其他智能手机以及至少一个信号灯，所述连接设备中的至少一部分为所述危险对象中的至少一部分。
3.根据权利要求2所述的方法，其特征在于，所述步骤(d)中，所述智能手机使得所述控制单元向与所述行人邻近的所述连接设备中的至少一部分发送所述第一信息及所述第二信息中的至少一部分，从而使得所述连接设备参照所述第一信息及所述第二信息中的至少一部分，以降低所述危险对象与所述行人之间发生碰撞的危险度的方向运行。
4.根据权利要求1所述的方法，其特征在于，
所述步骤(c)中，所述智能手机使得所述控制单元进一步参照第三信息判断所述行走安全度，
所述第三信息包括所述智能手机使得所述控制单元和与所述行人邻近的连接设备中的至少一部分进行通信而生成的关于所述行人的周边情况的信息，所述连接设备包括与所述行人邻近的至少一个车辆、至少一个CCTV、至少一个其他行人的至少一个其他智能手机以及至少一个信号灯，所述连接设备中的至少一部分为所述危险对象中的至少一部分。
5.根据权利要求4所述的方法，其特征在于，
所述第三信息包括第3-1信息及第3-2信息中的至少一部分，
所述第3-1信息包括与所述智能手机联动的所述智能手机摄像头的至少一个虚拟虚拟视锥体以及与所述连接设备联动的至少一个外部摄像头的至少一个虚拟虚拟视锥体中同时包括的第一特定危险对象的位置信息及速度信息，
所述第3-2信息包括与所述智能手机联动的所述智能手机摄像头的所述虚拟虚拟视锥体中未包括但与所述连接设备联动的所述外部摄像头的所述虚拟虚拟视锥体中包括的第二特定危险对象的位置信息及速度信息，
所述智能手机使得所述控制单元，参照所述第3-1信息验证所述第二信息的可靠性，并参照所述第3-2信息获取关于至少一个未检测危险对象的信息。
6.根据权利要求4所述的方法，其特征在于，所述步骤(c)中，
所述智能手机使得所述控制单元，参照(i)所述第三信息中包括的与所述行人邻近的信号灯的位置信息及信号状态信息；以及(ii)所述第一信息中包括的所述行人的所述位置信息及所述速度信息，生成所述行人的关注信号灯信息，并参照所述关注信号灯信息，通过所述智能手机向所述行人发送追加信号灯提醒。
7.根据权利要求4所述的方法，其特征在于，所述第三信息包括：
(i)与所述行人邻近的所述车辆的位置和速度；
(ii)参照与所述行人邻近的所述CCTV获取的与所述行人邻近的所述危险对象的位置和速度；
(iii)所述至少一个其他行人的位置和速度；以及
(iv)与所述行人邻近的信号灯的位置信息及信号状态信息。
8.根据权利要求1所述的方法，其特征在于，所述智能手机利用所述控制单元检测到与利用所述智能手机摄像头获取的所述图像相对应的所述高清地图上的至少一个区域的面积为临界值以下的情况下，使得所述控制单元通过所述智能手机向所述行人发送无法检测提醒。
9.根据权利要求8所述的方法，其特征在于，所述智能手机参照遮挡信息及角度信息中的至少一部分，判断所述区域的面积为所述临界值以下的至少一种原因，根据各个所述原因通过所述智能手机向所述行人发送互不相同的警告提醒，所述遮挡信息是由至少一个分割单元获取的且是关于遮挡所述智能手机摄像头的至少一个镜头的至少一个妨碍对象的信息，所述角度信息是关于在以所述行人为中心的三维空间中定义所述行人的移动面的法线向量与所述智能手机摄像头的至少一个虚拟虚拟视锥体的中心轴之间的角度的信息。
10.根据权利要求1所述的方法，其特征在于，所述步骤(c)中，
所述智能手机使得所述控制单元，参照所述第一信息及所述第二信息，判断所述行人和与其邻近的所述危险对象在临界时间内发生碰撞的危险度的概率，从而生成所述行走安全度。
11.根据权利要求10所述的方法，其特征在于，所述智能手机使得所述控制单元，通过所述智能手机向所述行人追加发送提供行动指南的提醒，以提高所述行走安全度。
12.根据权利要求10所述的方法，其特征在于，所述智能手机使得所述控制单元，(i)参照所述第一信息中包括的加速度传感器信息，生成能够预测所述行人的移动速度变化的行人移动预测模型，(ii)参照所述行人移动预测模型，计算行人移动概率，所述行人移动概率是所述行人在所述临界时间内向与所述行人邻近的各个区域移动的概率，(iii)参照所述第二信息中的至少一部分，生成能够预测所述危险对象的移动速度变化的危险对象移动预测模型，(iv)参照所述危险对象移动预测模型，计算危险对象移动概率，所述危险对象移动概率是所述危险对象在所述临界时间内向与所述危险对象邻近的各个区域移动的概率，之后，(v)参照所述行人移动概率及所述危险对象移动概率生成所述行走安全度。
13.根据权利要求1所述的方法，其特征在于，所述步骤(c)中，
所述智能手机使得所述控制单元，参照所述第一信息及所述第二信息中包括的所述行人的所述位置信息及所述速度信息、以及关于所述危险区域的信息，判断所述行人是否将移动到所述危险区域之一中，从而生成所述行走安全度。
14.根据权利要求13所述的方法，其特征在于，所述智能手机使得所述控制单元，(i)生成能够预测所述行人的移动速度变化的行人移动预测模型，(ii)参照所述行人移动预测模型，计算所述行人向与所述行人邻近的各个邻近区域移动的行人移动概率，之后，(iii)参照所述行人移动概率以及各个所述邻近区域是否与各个所述危险区域相对应，生成所述行走安全度。
15.根据权利要求1所述的方法，其特征在于，所述步骤(b)中，所述智能手机使得所述检测单元，(i)利用所述检测单元中包括的至少一个卷积层、至少一个区域生成网络、至少一个全连接层，检测各个所述图像中包括的与所述行人邻近的所述危险对象，(ii)参照与所述智能手机摄像头的至少一个焦点距离相关的校准信息以及所述第一信息，获取关于检测的所述危险对象的所述第二信息。
16.一种智能手机，其特征在于，提供保护使用智能手机的至少一个行人的尖端行人辅助系统，包括：
至少一个存储器，用于存储指令；以及
至少一个处理器，执行所述指令来执行步骤(I)、步骤(II)以及步骤(III)，
步骤(I)中，使得至少一个位置跟踪单元，参照利用至少一个高清地图、至少一个全球定位系统、以及至少一个惯性测量单元中包括的至少一个加速度传感器和至少一个陀螺传感器获取的信息中的至少一部分，获取包括所述行人的位置信息及速度信息、所述智能手机的位置信息及速度信息中的至少一部分的第一信息；
步骤(II)中，使得至少一个检测单元，参照利用与所述智能手机联动的一个以上智能手机摄像头获取的图像中的至少一部分以及所述第一信息，获取包括各个与所述行人邻近的危险区域的危险状态和危险对象的位置信息及速度信息的第二信息；以及
步骤(III)中，使得至少一个控制单元，参照所述第一信息及所述第二信息计算所述行人的至少一个行走安全度后，通过所述智能手机向所述行人发送危险提醒。
17.根据权利要求16所述的智能手机，其特征在于，所述处理器还执行：
步骤(IV)，使得所述控制单元，向与所述行人邻近的连接设备中的至少一部分发送所述第一信息及所述第二信息中的至少一部分，所述连接设备包括与所述行人邻近的至少一个车辆、至少一个CCTV、至少一个其他行人的至少一个其他智能手机以及至少一个信号灯，所述连接设备中的至少一部分为所述危险对象中的至少一部分。
18.根据权利要求17所述的智能手机，其特征在于，所述步骤(IV)中，所述处理器使得所述控制单元向与所述行人邻近的所述连接设备中的至少一部分发送所述第一信息及所述第二信息中的至少一部分，从而使得所述连接设备参照所述第一信息及所述第二信息中的至少一部分，以降低所述危险对象与所述行人之间发生碰撞的危险度的方向运行。
19.根据权利要求16所述的智能手机，其特征在于，
所述步骤(III)中，所述处理器使得所述控制单元进一步参照第三信息判断所述行走安全度，
所述第三信息包括所述处理器使得所述控制单元和与所述行人邻近的连接设备中的至少一部分进行通信而生成的关于所述行人的周边情况的信息，所述连接设备包括与所述行人邻近的至少一个车辆、至少一个CCTV、至少一个其他行人的至少一个其他智能手机以及至少一个信号灯，所述连接设备中的至少一部分为所述危险对象中的至少一部分。
20.根据权利要求19所述的智能手机，其特征在于，
所述第三信息包括第3-1信息及第3-2信息中的至少一部分，
所述第3-1信息包括与所述智能手机联动的所述智能手机摄像头的至少一个虚拟虚拟视锥体以及与所述连接设备联动的至少一个外部摄像头的至少一个虚拟虚拟视锥体中同时包括的第一特定危险对象的位置信息及速度信息，
所述第3-2信息包括与所述智能手机联动的所述智能手机摄像头的所述虚拟虚拟视锥体中未包括但与所述连接设备联动的所述外部摄像头的所述虚拟虚拟视锥体中包括的第二特定危险对象的位置信息及速度信息，
所述处理器使得所述控制单元，参照所述第3-1信息验证所述第二信息的可靠性，并参照所述第3-2信息获取关于至少一个未检测危险对象的信息。
21.根据权利要求19所述的智能手机，其特征在于，所述步骤(III)中，
所述处理器使得所述控制单元，参照(i)所述第三信息中包括的与所述行人邻近的信号灯的位置信息及信号状态信息；以及(ii)所述第一信息中包括的所述行人的所述位置信息及所述速度信息，生成所述行人的关注信号灯信息，并参照所述关注信号灯信息，通过所述智能手机向所述行人发送追加信号灯提醒。
22.根据权利要求19所述的智能手机，其特征在于，所述第三信息包括：
(i)与所述行人邻近的所述车辆的位置和速度；
(ii)参照与所述行人邻近的所述CCTV获取的与所述行人邻近的所述危险对象的位置和速度；
(iii)所述至少一个其他行人的位置和速度；以及
(iv)与所述行人邻近的信号灯的位置信息及信号状态信息。
23.根据权利要求16所述的智能手机，其特征在于，所述处理器利用所述控制单元检测到与利用所述智能手机摄像头获取的所述图像相对应的所述高清地图上的至少一个区域的面积为临界值以下的情况下，使得所述控制单元通过所述智能手机向所述行人发送无法检测提醒。
24.根据权利要求23所述的智能手机，其特征在于，所述处理器参照遮挡信息及角度信息中的至少一部分，判断所述区域的面积为所述临界值以下的至少一种原因，根据各个所述原因通过所述智能手机向所述行人发送互不相同的警告提醒，所述遮挡信息是由至少一个分割单元获取的且是关于遮挡所述智能手机摄像头的至少一个镜头的至少一个妨碍对象的信息，所述角度信息是关于在以所述行人为中心的三维空间中定义所述行人的移动面的法线向量与所述智能手机摄像头的至少一个虚拟虚拟视锥体的中心轴之间的角度的信息。
25.根据权利要求16所述的智能手机，其特征在于，所述步骤(III)中，
所述处理器使得所述控制单元，参照所述第一信息及所述第二信息，判断所述行人和与其邻近的所述危险对象在临界时间内发生碰撞的危险度的概率，从而生成所述行走安全度。
26.根据权利要求25所述的智能手机，其特征在于，所述处理器使得所述控制单元，通过所述智能手机向所述行人追加发送提供行动指南的提醒，以提高所述行走安全度。
27.根据权利要求25所述的智能手机，其特征在于，所述处理器使得所述控制单元，(i)参照所述第一信息中包括的加速度传感器信息，生成能够预测所述行人的移动速度变化的行人移动预测模型，(ii)参照所述行人移动预测模型，计算行人移动概率，所述行人移动概率是所述行人在所述临界时间内向与所述行人邻近的各个区域移动的概率，(iii)参照所述第二信息中的至少一部分，生成能够预测所述危险对象的移动速度变化的危险对象移动预测模型，(iv)参照所述危险对象移动预测模型，计算危险对象移动概率，所述危险对象移动概率是所述危险对象在所述临界时间内向与所述危险对象邻近的各个区域移动的概率，之后，(v)参照所述行人移动概率及所述危险对象移动概率生成所述行走安全度。
28.根据权利要求16所述的智能手机，其特征在于，所述步骤(III)中，
所述处理器使得所述控制单元，参照所述第一信息及所述第二信息中包括的所述行人的所述位置信息及所述速度信息、以及关于所述危险区域的信息，判断所述行人是否将移动到所述危险区域之一中，从而生成所述行走安全度。
29.根据权利要求28所述的智能手机，其特征在于，所述处理器使得所述控制单元，(i)生成能够预测所述行人的移动速度变化的行人移动预测模型，(ii)参照所述行人移动预测模型，计算所述行人向与所述行人邻近的各个邻近区域移动的行人移动概率，之后，(iii)参照所述行人移动概率以及各个所述邻近区域是否与各个所述危险区域相对应，生成所述行走安全度。
30.根据权利要求1所述的智能手机，其特征在于，所述步骤(II)中，所述处理器使得所述检测单元，(i)利用所述检测单元中包括的至少一个卷积层、至少一个区域生成网络、至少一个全连接层，检测各个所述图像中包括的与所述行人邻近的所述危险对象，(ii)参照与所述智能手机摄像头的至少一个焦点距离相关的校准信息以及所述第一信息，获取关于检测的所述危险对象的所述第二信息。
CN202010046100.3A 2019-01-31 2020-01-16 提供尖端行人辅助系统的方法及装置 Active CN111508222B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/263,006 US10565863B1 (en) 2019-01-31 2019-01-31 Method and device for providing advanced pedestrian assistance system to protect pedestrian preoccupied with smartphone
US16/263,006 2019-01-31

Publications (2)

Publication Number Publication Date
CN111508222A true CN111508222A (zh) 2020-08-07
CN111508222B CN111508222B (zh) 2022-08-12

Family

ID=69156281

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010046100.3A Active CN111508222B (zh) 2019-01-31 2020-01-16 提供尖端行人辅助系统的方法及装置

Country Status (5)

Country Link
US (1) US10565863B1 (zh)
EP (1) EP3690396A1 (zh)
JP (1) JP6935947B2 (zh)
KR (1) KR102337352B1 (zh)
CN (1) CN111508222B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112671977A (zh) * 2020-12-25 2021-04-16 深圳市九洲电器有限公司 一种安全预警方法、装置、存储介质及电子设备

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210366269A1 (en) * 2020-05-22 2021-11-25 Wipro Limited Method and apparatus for alerting threats to users
FR3112641A1 (fr) 2020-07-17 2022-01-21 CopSonic Methode de signalisation d’un danger de circulation a l’utilisateur d’un smartphone
CN115188188B (zh) * 2022-07-08 2023-09-05 重庆交通大学 等待时间手机分心条件下行人过街风险评估方法
DE102022210507A1 (de) * 2022-10-05 2024-04-11 Continental Automotive Technologies GmbH Alarmsystem zur Warnung vulnerabler Verkehrsteilnehmer in einem vorgegebenen Straßenabschnitt

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010287161A (ja) * 2009-06-15 2010-12-24 Toyota Infotechnology Center Co Ltd 歩行者検知システム
CN106790992A (zh) * 2016-11-21 2017-05-31 广东欧珀移动通信有限公司 安全提醒方法及智能手机
CN106816035A (zh) * 2015-12-02 2017-06-09 中国移动通信集团公司 一种面向行人的告警方法及装置
JP2017536595A (ja) * 2014-09-26 2017-12-07 ハーマン インターナショナル インダストリーズ インコーポレイテッド 歩行者情報システム
KR101862986B1 (ko) * 2017-03-15 2018-05-30 인하대학교 산학협력단 스마트 폰을 사용하며 보행중인 사용자 경보 시스템 및 방법
CN108492625A (zh) * 2018-03-25 2018-09-04 张小莲 一种基于NB-IoT的行人防撞智能交通管理控制系统

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2495775C2 (ru) * 2011-12-29 2013-10-20 Федеральное государственное бюджетное образовательное учреждение высшего профессионального образования Марийский государственный технический университет Способ повышения безопасности пешеходных переходов
US10591608B2 (en) * 2014-01-24 2020-03-17 Savari, Inc. Positioning quality filter for the V2X technologies
JP6429368B2 (ja) * 2013-08-02 2018-11-28 本田技研工業株式会社 歩車間通信システムおよび方法
JP2015197785A (ja) * 2014-04-01 2015-11-09 独立行政法人交通安全環境研究所 歩行者支援システム及び歩行者支援プログラム
KR101616450B1 (ko) * 2014-06-09 2016-05-11 (주) 펀매직 카메라를 통한 가상 버튼 구현방법, 장치 및 컴퓨터 판독가능 기록매체
US9896030B2 (en) * 2015-04-30 2018-02-20 Honda Motor Co., Ltd. System and method for vehicle collision mitigation with vulnerable road user context sensing
KR20170025179A (ko) * 2015-08-27 2017-03-08 엘지전자 주식회사 보행자 추돌 방지 시스템 및 그 동작방법
KR101751032B1 (ko) * 2015-11-20 2017-06-26 유한회사 청텍 이미지 센서를 이용한 위험 감지 장치
KR101916993B1 (ko) * 2015-12-24 2018-11-08 엘지전자 주식회사 차량용 디스플레이 장치 및 그 제어방법
JP6169747B2 (ja) * 2016-04-11 2017-07-26 富士通テン株式会社 携帯端末
JP6325601B2 (ja) * 2016-05-25 2018-05-16 京セラ株式会社 電子機器、制御方法、及び制御プログラム
US10349011B2 (en) * 2017-08-14 2019-07-09 GM Global Technology Operations LLC System and method for improved obstacle awareness in using a V2X communications system
KR101906569B1 (ko) * 2018-07-11 2018-12-05 권성국 횡단보도 보행자 안전 시스템

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010287161A (ja) * 2009-06-15 2010-12-24 Toyota Infotechnology Center Co Ltd 歩行者検知システム
JP2017536595A (ja) * 2014-09-26 2017-12-07 ハーマン インターナショナル インダストリーズ インコーポレイテッド 歩行者情報システム
CN106816035A (zh) * 2015-12-02 2017-06-09 中国移动通信集团公司 一种面向行人的告警方法及装置
CN106790992A (zh) * 2016-11-21 2017-05-31 广东欧珀移动通信有限公司 安全提醒方法及智能手机
KR101862986B1 (ko) * 2017-03-15 2018-05-30 인하대학교 산학협력단 스마트 폰을 사용하며 보행중인 사용자 경보 시스템 및 방법
CN108492625A (zh) * 2018-03-25 2018-09-04 张小莲 一种基于NB-IoT的行人防撞智能交通管理控制系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112671977A (zh) * 2020-12-25 2021-04-16 深圳市九洲电器有限公司 一种安全预警方法、装置、存储介质及电子设备

Also Published As

Publication number Publication date
KR20200095338A (ko) 2020-08-10
JP6935947B2 (ja) 2021-09-15
EP3690396A1 (en) 2020-08-05
CN111508222B (zh) 2022-08-12
KR102337352B1 (ko) 2021-12-10
JP2020126612A (ja) 2020-08-20
US10565863B1 (en) 2020-02-18

Similar Documents

Publication Publication Date Title
CN111508222B (zh) 提供尖端行人辅助系统的方法及装置
US10832063B2 (en) Systems and methods for detecting an object
US10753758B2 (en) Top-down refinement in lane marking navigation
US10984261B2 (en) Systems and methods for curb detection and pedestrian hazard assessment
US11530924B2 (en) Apparatus and method for updating high definition map for autonomous driving
CN107111742B (zh) 在导航中对车道限制和施工区域的识别和预测
US10387733B2 (en) Processing apparatus, processing system, and processing method
CN108496178B (zh) 用于估计未来路径的系统和方法
US9619719B2 (en) Systems and methods for detecting traffic signs
JP2022172153A (ja) 車両ナビゲーションシステム、車両、及びプログラム
US10402665B2 (en) Systems and methods for detecting traffic signs
US20150332103A1 (en) Processing apparatus, computer program product, and processing method
CN106463060A (zh) 处理装置、处理系统、处理程序和处理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant