CN106716513A - 行人信息系统 - Google Patents

行人信息系统 Download PDF

Info

Publication number
CN106716513A
CN106716513A CN201580051247.9A CN201580051247A CN106716513A CN 106716513 A CN106716513 A CN 106716513A CN 201580051247 A CN201580051247 A CN 201580051247A CN 106716513 A CN106716513 A CN 106716513A
Authority
CN
China
Prior art keywords
user
pedestrian
detecting
region
sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201580051247.9A
Other languages
English (en)
Other versions
CN106716513B (zh
Inventor
D.迪森索
S.马蒂
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harman International Industries Inc
Crown Audio Inc
Original Assignee
Crown Audio Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Crown Audio Inc filed Critical Crown Audio Inc
Publication of CN106716513A publication Critical patent/CN106716513A/zh
Application granted granted Critical
Publication of CN106716513B publication Critical patent/CN106716513B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/005—Traffic control systems for road vehicles including pedestrian guidance indicator
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18—Status alarms
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B3/00—Audible signalling systems; Audible personal calling systems
    • G08B3/10—Audible signalling systems; Audible personal calling systems using electric transmission; using electromagnetic transmission
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems
    • G10L13/08—Text analysis or generation of parameters for speech synthesis out of text, e.g. grapheme to phoneme translation, prosody generation or stress or intonation determination
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1091—Details not provided for in groups H04R1/1008 - H04R1/1083
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1008—Earpieces of the supra-aural or circum-aural type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1041—Mechanical or electronic switches, or control elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2460/00—Details of hearing devices, i.e. of ear- or headphones covered by H04R1/10 or H04R5/033 but not provided for in any of their subgroups, or of hearing aids covered by H04R25/00 but not provided for in any of its subgroups
    • H04R2460/07—Use of position data from wide-area or local-area positioning systems in hearing devices, e.g. program or information selection

Abstract

一种行人信息系统，其可以向分心的行人提供与所述行人的路径中的危险有关的警报。所述系统可以检测物体，并且确定所述物体是否危险以及所述行人是否可能与所述物体碰撞。所述系统可以随后从所述行人的活动确定所述行人是否注意到识别的危险。如果所述系统确定所述行人未注意到所述识别的危险，那么所述系统可以向所述行人输出音频、视觉和/或触觉警报。

Description

行人信息系统
相关申请的交叉参考
本申请要求2014年9月26日提交的美国专利申请序列号14/498,525的权益，所述专利申请据此通过引用并入本文。
背景技术
行人在行走时有时会分心。例如，一些行人在他们行走时通过他们的蜂窝电话发送电子邮件、文本消息等。其他行人只不过可能在他们行走时在做白日梦。然而，如果行人没有注意到他们的周围环境，他们就会冒险走进危险物体和/或区域。例如，行人可能走进街道进入汽车路径中。作为另一个示例，行人可能步入水坑或泥土块中。
发明内容
用于向行人提供危险警告的系统的各种实施方案可以包括能够检测行人的环境中的区域和/或物体中的至少一个的第一传感器。系统还可以包括能够检测行人的活动的第二传感器。第一传感器和第二传感器可以由行人佩戴。系统可以包括可以布置在行人的耳朵上、耳朵中或者相对于行人的耳朵布置的声换能器(例如，扬声器)。系统还可以包括处理器，其可以被配置来识别检测到的对行人是危险的区域和物体中的至少一个。处理器还可以确定检测到的行人活动是否是行人意识到所检测到的区域和物体中的至少一个的指示。在确定检测到的活动不是意识到的指示时，处理器可以被配置来向声换能器输出针对检测到的区域和物体中的至少一个的音频警告。
用于向行人提供危险警告的耳机的各种实施方案可以包括外壳和布置在外壳上并且被配置成相对于行人的耳朵定位的至少一个声换能器。耳机可以包括能够检测行人的环境中的区域和/或物体中的至少一个的第一传感器。耳机还可以包括能够检测行人活动的第二传感器。耳机还可以包括处理器，其可以被配置来识别检测到的对行人是危险的区域和物体中的至少一个。处理器还可以确定检测到的行人活动是否是行人意识到所检测到的区域和物体中的至少一个的指示。在确定检测到的活动不是意识到的指示时，处理器可以被配置来向至少一个声换能器输出针对检测到的区域和物体中的至少一个的音频警告。
用于提供监控服务的计算机程序产品的各种实施方案可以包括非暂时性计算机可读介质，其包括与其一起实施的计算机可读程序代码。程序代码可以被配置来分析行人的环境的数字图像，以识别对于行人是危险的物体和区域中的至少一个。程序代码还可以被配置来分析所接收的关于行人活动的信息，并且确定检测到的活动是否是行人意识到所检测到的区域和物体中的至少一个的指示。程序代码还可以被配置来在确定活动不是行人意识到所检测到的区域和物体中的至少一个的指示时向声换能器输出可听警告。
附图说明
图1A是佩戴耳机的实施方案的行人的透视图；
图1B是佩戴智能眼镜和耳机的实施方案的行人的透视图；
图2A是本文描述的实施方案的系统部件的框图；
图2B是处理器模块的实施方案的详细框图；
图2C是环境传感器的实施方案的详细框图；
图2D是行人传感器的实施方案的详细框图；
图3A是由各种实施方案实现的过程的流程图；
图3B是由各种实施方案实现的另一过程的流程图；
图4是示出各种实施方案的操作的情境的俯视图；
图5A至图5E是示出各种实施方案的操作的情境的俯视图；
图5F至图5K是示出各种实施方案的操作的情境的俯视图；并且
图6是示出各种实施方案的操作的另一情境的透视图。
具体实施方式
本公开的实施方案包括数字助理系统，所述数字助理系统可以包括至少一个传感器、输出模块和控制逻辑部件。传感器可以检测用户环境的一个或多个方面，诸如口语、声音、用户周围环境的图像和/或用户的动作。例如，可以包括在处理模块中的控制逻辑部件可以从由传感器检测到的这些方面识别用户活动和/或环境的上下文。随后，系统可以主动地检索与所识别的用户活动和/或环境的上下文相关的附加和/或补充信息，并且主动地向用户呈现检索到的信息。
图1示出布置在耳机100中的行人守护天使的实施方案。图2A至图2D示出可以布置在耳机100中和/或耳机100上的各种部件。耳机100可以包括外壳104和声换能器106(例如，扬声器)。在各种实施方案中，声换能器106可以包括耳上(贴耳式)或耳周(罩耳式)耳机，并且外壳104可以包括支撑声换能器106并装配在行人头部上的头带。在各种实施方案中，声换能器106可以包括耳内声换能器(例如，耳塞)，并且外壳104可以包括通过扬声器电缆或无线连接(例如，)连接到声换能器106的单独单元。
外壳104可以包括处理器模块216和多种传感器，所述多种传感器可以检测行人的环境以及行人行为的各方面，这些可以指示行人是否注意到他的周围环境和任何危险。例如，外壳104可以包括一个或多个面向外部的摄像机220，其捕获佩戴者的周围环境的数字图像。在图1A所示的实施方案中，外壳104包括三个摄像机208、210和212，其可以捕获行人前面、后面和侧面的数字图像。外壳的第二侧(图1A中未示出)可以包括附加的摄像机以在行人的另一侧上捕获图像。摄像机可以包括可见光传感器、红外光传感器、紫外光传感器、热传感器等中的一个或多个。
外壳104还可以包括可以捕获来自行人环境的声音的外部麦克风222。在图1A所示的实施方案中，外壳104可以包括在外壳104的相对侧上的第一麦克风214和第二麦克风。通过提供两个或更多个麦克风222，处理器模块202可以能够分析由两个麦克风检测到的声音并且提供对声音源的相对方位。
外壳104可以包括检测行人环境的各方面的附加传感器。例如，外壳104可以包括可以检测行人位置的全球定位系统(GPS)模块224。如本文提到的GPS通常指代任何和/或所有全球导航卫星系统，其包括GPS、GLONASS、Galileo、BeiDou等。GPS模块还可以计算行人的行进方向和行进速度。外壳104还可以包括其他传感器，例如像用于检测空气中的化学物质的空气嗅探器、激光距离测量传感器和超声波传感器。
外壳104还可以包括检测行人活动和/或行为的各方面的传感器。例如，如图1B所示，各种实施方案可以包括面向行人的摄像机230。在图1B中，面向行人的摄像机164可以安装到眼镜150的镜片160或框架154，以观察行人的眼睛162。面向行人的摄像机164可以检测行人的眼睛注视的方向。外壳104还可以包括能够检测行人头部的运动和位置(例如，行人已转动他的头部的方式以及他的头部正面向的方向)的传感器(例如，加速度计232和位置传感器234)。外壳104还可以包括大脑活动传感器236，其可以检测脑波和/或行人大脑的被刺激的位置。大脑活动传感器236的示例可以包括 神经耳机(neuroheadset)，生物传感器和Freer Logic传感器。
仍然参考图1B，眼镜150的实施方案可以包括相对于行人头部102上的耳朵布置的声换能器156。例如，声换能器156可以安装在从眼镜框架154延伸的茎158上。
现在参考图2A至图2D，在系统200的各种实施方案中，各种行人传感器206和环境传感器208可以与处理器模块202通信，以检测行人环境中的危险物体和/或区域，并且确定行人是否注意到所检测到的危险物体和/或区域。例如，行人可能会被他的智能手机等分心，并且未注意到他正在行走的地方。在各实例中，当处理器模块202检测到一个或多个危险物体和/或区域(基于来自环境传感器208的输入)并且确定行人未注意到危险(基于环境传感器和/或行人传感器)时，处理器模块202可以通过声换能器204输出可听警告。在各种实施方案中，处理器模块202调整传输到不同声换能器204(例如，行人的左耳中的声换能器和行人的右耳中的声换能器)的可听警告，以提供行人感觉到的是源自检测到的危险的方向的可听警告。在各种实施方案中，系统还可以包括触觉反馈模块(诸如振动电机)，以向行人提供危险的振动警告。
在各种实施方案中，系统200的各种部件可以在多个物理硬件部分之间分割。例如，处理器模块202可以设置在智能电话中。例如，智能电话可以包括执行本文所描述的过程和/或算法的应用。各种环境传感器208可以包括在智能电话中(例如，外部摄像机和眼睛跟踪摄像机、GPS接收器等)。声换能器204可以并入通过扬声器线或无线连接而连接到智能手机的耳塞或耳机中。佩戴者传感器可以并入智能电话中、并入包括声换能器的外壳中、或者并入单独的外壳(例如，在首饰、衣服等中的外壳)中。
在各种实施方案中，处理器模块202可以包括计算机处理器210和存储器212。处理器210可以执行存储在存储器212中的算法。处理器210还可以分析(来自行人传感器206和环境传感器208的)接收的传感器数据，以检测和/或识别危险并且确定行人是否注意到检测到的危险。处理器210还可以向声换能器204输出可听警告。例如，处理器210可以执行文本到语音转换以提供危险的描述性警告，这样行人就会了解要寻找什么。此外，如上所述，处理器210可以向不同的声换能器提供不同的输出，以提供由行人感知的源自危险的位置的可听立体声警告。
存储器212可以包括由处理器210执行的各种算法。存储器212还可以包括物体识别数据库和/或地理参考危险图。物体识别数据库可以包括已知危险物体的图像，诸如车辆、人行道上的市政垃圾桶、路缘等。物体识别数据库还可以包括不是危险的已知物体的图像。处理器210可以将接收的图像与物体识别数据库进行比较，以识别环境中可能是危险的物体。地理参考危险图可以包括已知的固定地点的危险的位置，诸如人行道上的灯杆或路标。
如本文所使用的，术语“危险”可以包括在行人的环境中的如果行人与它们(例如，汽车、自行车、其他行人、垃圾桶等)碰撞，那么可能伤害行人的物体和/或区域。“危险”还可以包括行人环境中的行人将要拒绝接触的物体和/或区域(例如，大水坑、泥泞区域、人行道上的狗的粪便等)。在各种实例中，系统200可以采用机器学习等来确定行人发现什么是令人反感的。例如，如果行人一直走在水坑周围，那么系统200可以确定行人发现水坑是令人反感的。在各种实施方案中，系统200可以访问已通过多名行人(例如，众包)收集的存储的令人反感的物体和/或区域的数据库。例如，在各种实施方案中，系统200可以在本地下载并存储数据库。在各种实施方案中，系统200可以通过使用数据收发器(例如，Wi-Fi或蜂窝数据连接)与远程计算机系统通信来访问远程计算机系统上的数据库。
图3A示出可以由处理器210实现以向行人提供警告的过程300的实施方案。在方框302中，处理器模块210可以从外部摄像机220接收一个或多个图像，并且识别所接收的图像中的物体和/或区域。此外，处理器210可以(例如，使用GPS模块224)确定行人的位置，并且识别存储在地理参考危险图数据库中的危险。
在方框304中，处理器可以确定检测到的物体和/或区域是否是危险。如果行人正接近存储在地理参考危险图数据库中的已知危险，那么检测到的物体和/或区域是危险。对于从外部摄像机220接收的图像中检测到的物体和/或区域，处理器210可以分析检测到的物体和/或区域以确定物体和/或区域是否是危险。例如，处理器210可以将检测到的物体和/或区域与物体识别数据库进行比较，以查看检测到的物体和/或区域是否与已知危险物体和/或区域的图像匹配。处理器210还可以分析检测到的物体以确定其大小。小物体(诸如人行道上的口香糖包装物)可能不是危险。相比之下，大物体(诸如市政垃圾桶)可能是危险。处理器210还可以分析检测到的物体和/或区域的红外和/或紫外线标记。例如，人行道上的水坑可以具有与围绕水坑的干燥人行道或者人行道的仅仅是湿的部分不同的红外线标记。类似地，处理器210可以分析检测到的物体的反射率。在上述示例中，水坑可以具有与干路面或仅湿路面不同的反射率。
在方框304中，如果处理器210确定分析的物体和/或区域不是危险，那么过程300可返回到方框302，以在行人移动时检测另外的物体和/或区域。如果处理器210确定所分析的物体和/或区域是危险，那么过程300可以移动到方框306，以确定行人是否处于与物体和/或区域的碰撞路线上。在方框306中，处理器306可以分析来自各种传感器的数据以确定行人是否处于与检测到的危险物体和/或区域的碰撞路线上。例如，如果物体正在移动(例如，沿着道路行驶的汽车)，处理器210可以计算行人的轨迹(例如，行进的速度和方向)和/或物体的轨迹。在各种实施方案中，处理器210可以计算行人与检测到的危险物体和/或区域之间的相对轨迹。例如，在各种实施方案中，处理器210可以分析从外部摄像机220接收的连续数字图像，以计算检测到的危险物体和/或区域相对于行人的相对轨迹。例如，如果检测到的危险物体和/或区域的数字图像在连续数字图像中变得更大，那么物体正变得越来越近。另外，如果检测到的危险物体和/或区域的数字图像在连续的数字图像中近似静止，那么检测到的危险物体和/或区域可以直接朝向行人移动。相反，如果检测到的危险物体和/或区域在连续数字图像中变得更小和/或物体和/或区域在连续数字图像中不是近似静止的，那么物体和/或区域可以远离行人移动或者沿着将不会导致与行人碰撞的相对轨迹移动。处理器210还可以接收可以用于确定检测到的危险物体和/或区域与行人之间的相对轨迹是否可能导致碰撞的其他传感器数据。例如，如上所述，系统200可以包括激光距离测量传感器、运动检测器和/或超声波传感器。处理器210可以使用从这些传感器接收的数据来计算检测到的物体和/或区域的行程的范围和/或相对方向。在方框306中，如果处理器210确定行人和/或检测到的危险物体和/或区域不在碰撞路线上，那么过程300可以返回到方框302。
在方框306中，如果处理器210确定行人和/或检测到的危险物体和/或区域在碰撞路线上，那么过程300可以前进到方框308，其中处理器210确定行人是否注意到检测到的危险物体和/或区域。例如，处理器210可以分析来自各种传感器的接收数据以检测行人的活动，并且确定检测到的活动是否指示行人注意到检测到的危险物体和/或区域。例如，在各种实施方案中，处理器210可以从在智能电话上运行的应用接收指示行人正在与应用交互(例如，用户活动)的数据。处理器210可以确定如果行人正在与应用交互，那么行人未注意到他的周围环境，并且因此未注意到检测到的危险物体和/或区域。作为另一个示例，如果处理器210从加速度计(上面讨论的)接收到行人在他接近街道时已经转动他的头部来看向两个方向的数据，那么处理器210可以确定行人正在环顾四周，并且环顾四周是行人可以注意到检测到的危险物体和/或区域(诸如街道)的指示。作为另一个示例，面向用户的摄像机230可以确定行人是否看向其他地方(并且因此未看向他要去的地方)。例如，构造到智能手机中的摄像机可以检测到行人的眼睛注视并且将眼睛注视信息发送到处理器210。如果行人持续数秒钟没有把目光远离智能手机的屏幕，那么处理器210可以确定行人被智能手机屏幕上的内容分心，并且可能不会注意到危险物体和/或区域。作为另一个示例，如果处理器210从GPS模块224接收到行人已经改变其步速的数据(例如，当他接近街道时减慢速度)，那么处理器210可以确定减慢步速是行人注意到街道(即，检测到的危险区域)的指示。作为另一个示例，处理器210可以从大脑活动传感器236接收数据。在各种实施方案中，大脑活动传感器236可以检测在行人注意到危险(即，大脑的危险区域)时行人的活跃的大脑区域中的大脑活动。在这类实施方案中，如果处理器210确定行人大脑的危险区域是活动的，那么处理器210可以确定某些大脑活动是行人注意到检测到的危险物体和/或区域的指示。在各种实施方案中，大脑活动传感器236可以检测在行人参与某些分心的活动(例如，阅读电子邮件、听音乐、以及打电话)时行人的活跃的大脑区域中的大脑活动。例如，系统200的实施方案可以采用机器学习来识别在不同类型的活动期间行人大脑的活动的区域。在系统200确定在分心活动期间行人大脑的活动的区域是活动的情况下，那么处理器210可以确定检测到的活动指示行人分心并且可能未注意到检测到的危险物体和/或危险。在各种其他实施方案中，大脑活动传感器236可以检测指示意识到危险的大脑信号。在这类实施方案中，如果处理器210检测到大脑信号，那么处理器210可以确定大脑活动是行人注意到危险的指示。如果处理器210确定行人注意到检测到的危险物体和/或区域，那么在方框308中，处理器210可以返回到方框302。在另一个实施方案中，大脑活动信号236可以检测大脑信号，此大脑信号指示行人参与可能将他的注意力从识别其路径中的危险物体和/或区域转移的活动。例如，在各种实施方案中，当行人参与某些分心活动(例如，打电话、键入电子邮件或文本消息，以及在他的智能手机上观看视频)时，系统200可以采用机器学习来识别大脑活动信号模式。如果系统200检测到识别的大脑活动信号模式，那么系统200可以确定信号模式是行人参与可能将他的注意力从看见危险物体和/或区域转移的活动的指示。
如果处理器210确定行人未注意到检测到的危险物体和/或区域，那么处理器210可以移动到过程的方框310，并向行人输出警报。警报可以包括通过声换能器204播放的可听警报。警报可以包括描述危险的口语警告(例如，“一辆汽车正从你的左边接近”)。如上所述，在包括两个声换能器204的实施方案中，警报可以包括立体或双耳输出，其被行人感知为起源于与检测到的危险和/或区域相同的位置。在系统200在行人的智能电话上操作的各种实施方案中，警报可以包括智能电话的显示屏上的视觉警报。视觉警报可以包括检测到的危险物体和/或区域的图像以及文本警报。在各种实施方案中，系统200可以与头戴式显示装置或其他计算机化眼镜(诸如Google)通信，并且视觉警报可以显示在行人视野中的目镜上。在各种实施方案中，警报可以包括对行人的触觉警报。例如，系统200可以与一个或多个振动电机(例如，行人的智能电话中的振动电机或行人佩带的振动电机)通信。在这类实施方案中，警报可以包括振动电机的操作。在行人可以佩戴多个振动电机的实施方案中，最靠近检测到的危险物体和/或区域的电机可以被操作来向行人提供危险的方向的指示。在已经输出警报之后，过程300可以返回到方框302。如果行人已经识别出警告并且检测到危险(如上文参考方框308所讨论的)，那么(在方框310处)处理器210将不重新发出警报。然而，如果行人已忽略警报并且/或者行人的活动指示他未注意到危险，那么处理器210可以在再次到达步骤310时重复警告。
图3B示出可以由处理器210实现的过程320的另一个实施方案。方框302(检测物体和/或区域)、方框304(确定物体和/或区域是否危险)，方框306(确定行人是否处于与物体和/或区域的碰撞路线上)以及方框308(确定行人是否注意到物体和/或区域)可以与图3A中所示的过程300相同。在图3B的过程320中，如果处理器210确定行人注意到检测到的危险物体和/或区域，那么处理器210可以输出低级警报(方框324)。例如，低级警报可以包括以相对低的音量通过声换能器104播放的单个口语消息。如果处理器210确定行人未注意到检测到的危险物体和/或区域，那么在方框322中，处理器210可以输出高级警报。例如，高级警报可以包括以相对高的音量通过声换能器104播放的重复的口语消息。输出高级警报还可以并入附加的(例如，视觉和/或触觉)警报模式。
图4、图5A、图5B和图6是示出系统200的操作的示例性情境。参考图4，在第一情境400中，行人402沿着人行道在箭头405的方向上朝向交叉口404行走。这里，系统可以检测路缘408(即，来自潜在危险道路的边界)和不行走信号410(指示行人没有通行权)。系统200还可以检测将要越过在近车道中的行人402的路径的汽车412(即，潜在危险物体)，以及朝向在相反车道中的行人的路径的汽车414(即，潜在危险物体)。此外，系统200可以检测可能在行人的路径中转弯的第一汽车418上的转弯信号418(即，潜在危险物体)，并且检测可能在行人的路径中转弯的第二汽车420上的转弯信号422(即，潜在危险物体)。
系统200可以确定附近车道中的汽车412将在行人402的前面横穿，并且因此不是威胁。然而，如果行人继续行走经过路缘408并进入道路，那么系统可以确定剩余的车414、416和420每个都可能与行人402碰撞。例如，如果行人402在他接近路缘408时减速和/或在他接近路缘408时查看他的四周和/或与“不行走”的行人天使目光接触，那么系统200可以确定那些活动指示行人402注意到行人信号410指示“不行走”并且行人402注意到汽车414、416和420。作为另一个示例，系统200可以检测在大脑的指示行人402注意到危险的区域中的大脑信号或大脑活动。作为另一个示例，如果行人402没有减慢或查看四周(例如，因为他正在看着他的智能电话的屏幕)，那么系统200可以向行人402输出问题警报。在各种实施方案中，系统200可以针对所有汽车发出一般警报(例如，“警告—您即将进入街道，并且有几辆接近的汽车！”)。在各种实施方案中，系统200可以为每辆汽车发出单独的警报。系统200可以基于每个威胁的计算的可能性来优先化警报。例如，如果行人402继续走进街道，那么在远车道中接近的汽车414最可能与行人402碰撞，那么系统200可以首先为汽车414发出警报。在各种实施方案中，汽车414的警报可以通过行人的右耳中的声换能器104输出以指示方向。随后，系统200可以确定从行人402的后面接近的汽车420是下一个最可能与行人402碰撞的汽车。因此，系统200可以其次为汽车420发出警报。在包括多个声换能器104的各种实施方案中，系统200可以输出警报，以使得行人402感知到警报是来自行人右肩的后方。最后，系统200可以为汽车416发出警报。在各种实施方案中，系统200可以输出警报，以使得行人402感知到警报是来自直线向前并稍微向其右边。示例性的警报可以是“警告—您将要进入街道，并且存在从您的右边接近的汽车[被认为来自行人的右边]、从您后方接近的汽车[被认为来自行人的后方]、以及在您前方接近的汽车[被认为来自行人的前方]。
图5A至图5K示出当行人452朝向街道454的路缘456之间的人行横道458(行进方向由箭头462指示)行走时(如图5A和5F图所示)，基于不同的行人452行为的另一个情境450中的系统的实施方案的操作的差异。在情境450中，人行横道458由行走/不行走信号460控制。当行人452接近人行横道458和信号460时，系统200的实施方案可以检测街道454、人行横道458、路缘456和信号460。在图5B和图5G中，系统200可以检测到信号460正在指示“不行走”。在各种实施方案中，外部摄像机220可以检测可以被照亮的信号460的颜色、符号和/或位置，以确定信号460的状态(即，“行走”或“不行走”)。在一些情况下，系统200可以使用麦克风222来确定信号460的状态。例如，一些信号460向盲人行人广播提供信号460的状态的音频消息。麦克风222可以检测音频广播，并且处理器210可以分析检测到的音频广播以确定信号460的状态。在各种实施方案中，系统200可以包括可以从信号460检测广播消息以确定信号460的状态的接收器(例如，无线电信号接收器)。例如，信号460可以广播其当前状态(即，“行走”或“不行走”)，并且系统的接收器可以接收广播以确定信号460的状态。因为在这种情境下信号460的状态是“不行走”，所以系统200可以确定即将到来的人行横道458是危险区域。因此，在图5C和图5H中，当行人452接近路缘456时，系统200分析行人452的活动以确定行人452是否注意到人行横道458和信号460的状态。参考图5D，如果行人452继续在箭头462的方向上行走并且不减速，那么系统200可以确定行人未注意到人行横道454和/或未注意到信号460的状态是“不行走”。系统200可以向行人452输出警告(例如，“停止！”)，以试图阻止行人452进入人行横道458。警告可以是音频警告和/或视觉警告(例如，在行人智能电话的显示屏上显示的停止标志的图片)。如图5E中没有箭头460所示，行人452可以响应于此警告而停止。相比之下，现在参考图5I和图5J，如果系统200检测到行人452当他接近路缘456时将他的头部转向右(由图5I中的箭头466指示)并且转向左(由图5J中的箭头468指示)，那么系统200可以确定行人452注意到人行横道458并且还注意到信号460的状态是“不行走”。因此，即使行人继续进入人行横道，系统200也可以不输出警告(如图5K所示)。
图6示出第三示例性情境500，其中行人502沿着人行道行走并且佩戴并入耳机504中的系统200的实施方案。在这种情境下，各种物体和/或区域在行人的路径中。系统可以检测在行人502前面的水坑510(区域)，大型市政垃圾桶508(物体)，口香糖包装物512(物体)和另一行人506(物体)。系统200可以使用外部摄像机220来检测水坑510、垃圾桶508、口香糖包装物512和其他行人506。此外，垃圾桶508可以包括在存储在存储器212中的地理参考危险数据库中。系统200可以将行人502的位置与地理参考危险数据库进行比较，以识别行人502前面的垃圾桶508。水坑可以被检测为具有与周围路面不同的颜色、反射率、红外特征等的人行道上的区域。存储器212中的数据库可以包括各种物体和/或区域(诸如水坑)的视觉特性。
系统200可以确定另一行人506和大垃圾桶508对行人502有危险。换句话说，如果行人502跑进垃圾桶508或另一个行人506，那么行人502和/或另一个行人506可能受伤。系统可以确定口香糖包装物512非常小，并且如果行人502踩到它也不会受伤。水坑510可以不被认为是危险的。然而，如果行人502过去已经避开过水坑，那么系统200可以采用机器学习来识别出行人502不想走过水坑。因此，系统200可以将水坑510识别为危险。
行人的路径可以朝向水坑510、口香糖包装物512和另一个行人506前进，从而经过垃圾桶508的侧方。因此，系统可以确定行人在与水坑510和另一行人506的碰撞路线上。如上所述，口香糖包装物512已经被确定为不是危险，因此系统200可以不确定行人502是否处于与其的碰撞路线上。随后，系统可以确定行人502是否注意到水坑510和行人506。例如，如果行人502正在向下看他的智能电话，但是随后在其前方路径上查看，那么系统200可以确定行人注意到水坑510和其他行人506。类似地，如果行人502调整他的路径以避开水坑510和行人506，那么系统200可以确定行人502注意到水坑510和另一个行人506。然而，如果行人502在朝向水坑510和另一行人506的路径上继续行走并且/或者未从他的智能电话抬起头查看，那么系统200可以确定行人502未注意到水坑510和其他行人506。随后，系统可以通过耳机504中的声换能器104发出警报。系统200还可以在行人502智能电话的显示屏上发出视觉警报。
在各种实施方案中，系统200可以能够提供外部信号以警告其他人(例如，其他行人和车辆操作者)行人未关注他的行进路径。例如，图1A所示的外壳104可以包括一个或多个灯(例如，发光二极管)，如果行人未注意到即将与危险物体和/或区域碰撞，那么此灯闪烁。作为另一示例，行人可以佩戴可以显示消息的标志。例如，如果行人将要进入十字路口并且没有注意，那么标志可以用指明“穿过街道”的消息来照亮，以警告车辆操作者行人的动作。作为另一示例，系统200可以向附近车辆无线地发送信号，以使得车辆可以向车辆操作者显示行人没有注意他要去的地方的消息。例如，车辆可以在车辆中的移动地图显示器上显示消息。如果系统200配备有跟踪行人位置的GPS模块，那么发送到车辆的无线信号可以包括行人的位置，以使得车辆地图显示器可以在车辆中的地图上示出行人的位置。
上述各种实施方案可以提供一个或多个传感器和计算机处理以识别行人路径中的危险物体和/或区域。传感器和计算机处理可以进一步确定行人是否注意他的周围环境，并且可能注意到检测到的危险物体和/或区域。如果行人可能没有注意，那么计算机处理可以向行人输出警报和/或警告以警告他危险物体和/或区域。通过发送这类警报和/或警告，本文描述的实施方案可以用作守护天使，从而保护行人免于在他分心并且未注意他的周围环境时无意中走入危险物体和/或区域。
已经出于说明的目的呈现了本发明的各种实施方案的描述，但是这些描述并不旨在是穷尽的或限于所公开的实施方案。在不脱离所描述的实施方案的范围和精神的情况下，许多修改和变化对于本领域普通技术人员将是显而易见的。选择本文使用的术语是为了最好地解释各实施方案的原理、实际应用或对市场中发现的技术的技术改进，或者使本领域普通技术人员能够理解本文公开的实施方案。
本发明可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括其上具有计算机可读程序指令的计算机可读存储介质(或媒介)，以用于致使处理器执行本发明的各方面。
计算机可读存储介质可以是有形装置，其可以保留并存储供指令执行装置使用的指令。计算机可读存储介质可以是例如但不限于电子存储装置、磁存储装置、光学存储装置、电磁存储装置、半导体存储装置或者上述装置的任何合适组合。计算机可读存储介质的更具体示例的非穷尽列表包括以下各项：便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦可编程只读存储器(EPROM或闪速存储器)、静态随机存取存储器(SRAM)、便携式光盘只读存储器(CD-ROM)、数字通用盘(DVD)、存储棒以及上述的任何合适组合。如本文所使用的，计算机可读存储介质不被理解为是瞬时信号本身，诸如无线电波或其他自由传播的电磁波、通过波导或其他传输介质传播的电磁波(例如，通过光纤电缆传递的光脉冲)、或者通过导线传输的电信号。
本文描述的计算机可读程序指令可以通过网络从计算机可读存储介质下载到相应的计算/处理装置或者下载到外部计算机或外部存储装置，网络例如互联网、局域网、广域网和/或无线网。网络可以包括铜传输电缆、光传输光纤、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理装置中的网络适配器卡或网络接口从网络接收计算机可读程序指令并转发计算机可读程序指令以用于存储在相应计算/处理装置内的计算机可读存储介质中。
用于执行本发明的操作的计算机可读程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据或者源代码或以一种或多种编程语言的任何组合编写的目标代码，一种或多种编程语言包括诸如Java、Smalltalk、C++等的面向对象的编程语言以及诸如“C”编程语言或类似编程语言的常规过程编程语言。计算机可读程序指令可以完全在用户计算机上执行、部分在用户计算机上执行、作为独立软件包执行、部分在用户计算机上并且部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在后一种情境下，远程计算机可以通过任何类型的网络(包括局域网(LAN)或广域网(WAN))连接到用户的计算机，或者可以连接到外部计算机(例如，通过使用互联网服务提供商的互联网)。在一些实施方案中，包括例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)的电子电路可以通过利用计算机可读程序指令的状态信息来执行计算机可读程序指令，以个性化电子电路，以便执行本发明的各方面。
这些计算机可读程序指令可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，以产生机器，以使得通过计算机的处理器或其他可编程数据处理设备执行的指令产生用于实现在流程图和/或方框图的一个或多个方框中指定的功能/动作的装置。这些计算机可读程序指令还可以存储在可以引导计算机、可编程数据处理设备和/或其他装置以特定方式工作的计算机可读存储介质中，以使得在其中存储有指令的计算机可读存储介质包括制造品，其包括实现在流程图和/或方框图的一个或多个方框中指定的功能/动作的方面的指令。
计算机可读程序指令还可以加载到计算机、其他可编程数据处理设备或其他装置上，以致使在计算机、其他可编程设备或其他装置上执行一系列操作步骤，以产生计算机实现的过程，以使得在计算机、其他可编程设备或其他装置上执行的指令实现在流程图和/或方框图的一个或多个方框中指定的功能/动作。
附图中的流程图和方框图示出根据本发明的各种实施方案的系统、方法和计算机程序产品的可能实现方式的架构、功能和操作。在这点上，流程图或方框图中的每个方框可以表示指令的模块、区段或部分，其包括用于实现指定的逻辑功能的一个或多个可执行指令。在一些替代实现方式中，在方框中指出的功能可以不按照图中所示的顺序发生。例如，取决于所涉及的功能，连续示出的两个方框事实上可以基本同时执行，或者这些方框有时可以以相反的顺序执行。还将注意到，方框图和/或流程图图示中的每个方框以及方框图和/或流程图图示中的方框的组合可以由执行指定功能或动作或者执行专用硬件和计算机指令的组合的基于专用硬件的系统来实现。
本公开的实施方案可以通过云计算基础设施提供给终端用户。云计算通常是指通过网络提供可扩展计算资源作为服务。更正式地，云计算可以被定义为提供计算资源与其底层技术架构(例如，服务器、存储装置、网络)之间的抽象化的计算能力，从而使得能够方便地、按需地网络访问可配置计算资源的共享池，可配置计算资源可以利用最少的管理努力或服务提供商交互来快速供应和发布。因此，云计算允许用户在“云”中访问虚拟计算资源(例如，存储装置、数据、应用、以及甚至完整的虚拟化计算系统)，而不考虑用于提供计算资源的底层物理系统(或者那些系统的位置)。
通常，在按次计费的基础上向用户提供云计算资源，其中仅针对实际使用的计算资源(例如，用户消耗的存储空间量或由用户实例化的虚拟化系统的数量)来对用户进行收费。用户可以随时访问驻留在云中的任何资源，并且也可以从互联网上的任何地方进行访问。在本公开的上下文中，系统的各种实施方案可以访问存储在云中的地理参考危险数据库。在各种实施方案中，云计算环境可以接收各个行人和车辆的报告的位置和轨迹信息，以计算碰撞的可能性。云计算环境可以向所涉及的行人和/或车辆报告可能的碰撞。
虽然前述内容涉及本发明的实施方案，但是在不脱离本发明的基本范围的情况下可以设计本发明的其他和另外的实施方案，并且本发明的范围由所附权利要求确定。

Claims (20)

1.一种用于向用户提供危险警告的系统，其包括：
第一传感器，其检测所述用户的环境中的区域和物体中的至少一个；
第二传感器，其检测所述用户的活动，其中所述第一传感器和所述第二传感器可由所述用户佩戴；
至少一个可佩戴声换能器，其相对于所述用户的耳朵布置；以及处理器，其被编程来：
基于检测到的区域和检测到的物体中的至少一个来识别对所述用户的危险；
确定所述用户的所检测到的活动是否指示所述用户意识到所述识别的危险；以及
在确定所述检测到的活动不指示意识到所述识别的危险时，向所述至少一个声换能器输出对于所述识别的危险的音频警告。
2.如权利要求1所述的系统，其中所述第一传感器包括检测所述用户的所述环境中的物体的图像传感器。
3.如权利要求1所述的系统，其中所述第二传感器包括检测所述用户的眼睛注视方向的图像传感器。
4.如权利要求3所述的系统，其中所述处理器还确定对所述检测到的区域和所述检测到的物体中的至少一个的方位，并且其中意识到的所述指示包括所述用户在所述方位的方向上检测到的眼睛注视方向。
5.如权利要求1所述的系统，其中所述第二传感器包括检测所述用户的头部的运动和位置中的至少一个的至少一个姿态传感器。
6.如权利要求5所述的系统，其中意识到的所述指示包括检测所述用户的所述头部朝向所述识别的危险的运动和位置中的至少一个。
7.一种用于向用户提供危险警告的耳机，其包括：
外壳；
至少一个声换能器，其布置在所述外壳上，并且当所述用户佩戴所述耳机时相对于所述用户的耳朵定位；
第一传感器，其检测所述用户的环境中的区域和物体中的至少一个；
第二传感器，其被配置来检测所述用户的活动，其中所述第一传感器和所述第二传感器被相对于所述外壳布置；以及
处理器，其被编程来：
基于检测到的区域和检测到的物体中的至少一个来识别对所述用户的危险；
确定所述用户的所检测到的活动是否指示所述用户意识到所述识别的危险；以及
在确定所述检测到的活动不指示意识到所述识别的危险时，向所述至少一个声换能器输出针对所述检测到的区域和所述检测到的物体中的所述至少一个的音频警告。
8.如权利要求7所述的耳机，其中所述第二传感器计算所述用户的位置和所述用户的行进速度中的至少一个。
9.如权利要求8所述的耳机，其中意识到的所述指示包括所述用户的行进速度的检测到的变化。
10.如权利要求7所述的耳机，其中所述第二传感器检测所述用户的大脑活动。
11.如权利要求10所述的耳机，其中意识到的所述指示包括大脑活动的检测到的变化。
12.如权利要求7所述的耳机，其中所述第一传感器包括捕获所述用户的环境中的至少一个物体的连续图像的图像传感器，其中在检测到物体时，所述处理器还被编程来计算所述物体与所述图像传感器之间的相对轨迹，并且在确定所述相对轨迹是碰撞轨迹时，将所述物体识别为危险。
13.如权利要求7所述的耳机，其中所述至少一个声换能器包括当所述用户佩戴所述耳机时相对于所述用户的右耳布置的第一声换能器和相对于所述用户的左耳布置的第二声换能器，并且其中所述处理器还被编程来：
确定所述检测到的区域和所述检测到的物体中的所述至少一个的方位；以及
以在与所述确定的方位对准的视在位置中播放所述警告的方式来向所述第一声换能器和所述第二声换能器输出所述警告。
14.一种用于提供监控服务的计算机程序产品，所述计算机程序产品包括：
非暂时性计算机可读介质，其具有与其一起实施的计算机可读程序代码，所述计算机可读程序代码在由处理器执行时执行操作，所述操作包括：
分析环境的数字图像以基于所述环境中的物体和区域中的至少一个来识别对用户的危险；
分析关于所述用户的活动的所接收的信息以确定所述用户的所述活动是否指示意识到所述危险；以及
在确定所述活动不指示意识到所述危险时，通过相对于所述用户的耳朵布置的声换能器来输出用于回放的所述识别的危险的警告。
15.如权利要求14所述的计算机程序产品，其中关于所述用户的活动的所述接收的信息包括关于所述用户的所述头部的移动的信息，并且其中所述用户的所述头部向左和向右的交替运动指示意识到。
16.如权利要求14所述的计算机程序产品，其中关于所述用户的活动的所述接收的信息包括检测对不同的计算机程序产品的用户输入，并且其中检测到输入的时期指示所述用户没有意识到。
17.如权利要求14所述的计算机程序产品，其中所述计算机可读程序代码在由用户执行时还执行操作，所述操作包括分析所述数字图像以计算所述数字图像中的检测到的物体的大小，并且其中在确定所述计算的大小超过预定阈值大小时将所述检测到的物体识别为危险。
18.如权利要求14所述的计算机程序产品，其中所述计算机可读程序代码在由处理器执行时还执行操作，所述操作包括将所述数字图像中的检测到的物体与图像数据库中的参考图像进行比较，并且其中在所述确定所述检测到的物体与所述图像数据库中的参考图像匹配时将所述检测到的物体识别为危险。
19.如权利要求14所述的计算机程序产品，其中所述计算机可读程序代码在由处理器执行时还执行操作，所述操作包括：
创建所述检测到的物体和所述检测到的区域中的所述至少一个的文本描述；以及
对所述文本描述执行文本到语音转换；并且
其中所述警告包括所述语音转换的文本描述的音频呈现。
20.如权利要求14所述的计算机程序产品，其中所述计算机可读程序代码在由处理器执行时还执行操作，所述操作包括分析环境的数字图像以识别所述环境中的对用户是危险的物体和区域中的至少一个，所述计算机可读程序代码包括机器学习算法，其中所述机器学习算法将所述用户移动以避开的物体和区域中的至少一个识别为危险，并且其中在确定所述识别的物体和区域中的至少一个存在于随后的数字图像中时，将所述物体和所述区域中的所述至少一个识别为危险。
CN201580051247.9A 2014-09-26 2015-09-14 行人信息系统 Active CN106716513B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/498,525 US9947215B2 (en) 2014-09-26 2014-09-26 Pedestrian information system
US14/498,525 2014-09-26
PCT/US2015/050038 WO2016048704A1 (en) 2014-09-26 2015-09-14 Pedestrian information system

Publications (2)

Publication Number Publication Date
CN106716513A true CN106716513A (zh) 2017-05-24
CN106716513B CN106716513B (zh) 2021-02-02

Family

ID=55581814

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580051247.9A Active CN106716513B (zh) 2014-09-26 2015-09-14 行人信息系统

Country Status (5)

Country Link
US (1) US9947215B2 (zh)
JP (1) JP6688286B2 (zh)
KR (1) KR102466521B1 (zh)
CN (1) CN106716513B (zh)
WO (1) WO2016048704A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107622629A (zh) * 2017-09-04 2018-01-23 深圳支点电子智能科技有限公司 一种安全提示方法和智能手表
CN110060465A (zh) * 2019-04-30 2019-07-26 浙江吉利控股集团有限公司 一种用于车辆行人交互系统的交互方法及交互系统
CN111161507A (zh) * 2019-12-26 2020-05-15 潘文娴 基于智能穿戴设备的危险感知方法、装置及智能穿戴设备
CN113196729A (zh) * 2019-09-20 2021-07-30 Jvc建伍株式会社 便携终端

Families Citing this family (68)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170255824A1 (en) * 2016-03-04 2017-09-07 General Electric Company Aerial camera system and method for identifying route-related hazards
US10057676B2 (en) * 2007-04-20 2018-08-21 Lloyd Douglas Manning Wearable wirelessly controlled enigma system
US11128275B2 (en) * 2013-10-10 2021-09-21 Voyetra Turtle Beach, Inc. Method and system for a headset with integrated environment sensors
CN105701963A (zh) * 2014-11-27 2016-06-22 英业达科技有限公司 危险警示方法与应用此方法的移动装置
US20160253891A1 (en) * 2015-02-27 2016-09-01 Elwha Llc Device that determines that a subject may contact a sensed object and that warns of the potential contact
EP3266014A1 (en) * 2015-03-03 2018-01-10 Volvo Truck Corporation A vehicle assistance system
US9896030B2 (en) * 2015-04-30 2018-02-20 Honda Motor Co., Ltd. System and method for vehicle collision mitigation with vulnerable road user context sensing
US10896591B2 (en) * 2015-07-31 2021-01-19 Motorola Mobility Llc Eyewear with proximity sensors to detect outside line of sight presence and corresponding methods
ITUB20159238A1 (it) * 2015-11-25 2017-05-25 Beniamino Tambelli montatura per lenti di protezione con sistema integrato intelligente per rilevamento interferenze tra pedone e carrello elevatore/mezzo in movimento
US9984540B2 (en) * 2015-12-17 2018-05-29 Harman International Industries, Incorporated Fan-driven force device
JP6411404B2 (ja) * 2016-05-27 2018-10-24 京セラ株式会社 電子機器、制御方法、及び制御プログラム
US10762708B2 (en) * 2016-06-23 2020-09-01 Intel Corporation Presentation of scenes for binocular rivalry perception
US10460095B2 (en) * 2016-09-30 2019-10-29 Bragi GmbH Earpiece with biometric identifiers
US10057672B2 (en) * 2016-10-04 2018-08-21 Nxp B.V. Optical communication interface
JP6781898B2 (ja) * 2016-10-06 2020-11-11 学校法人神奈川大学 音出力装置及び携帯装置
JP2018081549A (ja) * 2016-11-17 2018-05-24 清水建設株式会社 モデル作成装置、端末装置、危険箇所発見システム及びプログラム
JP6429413B2 (ja) * 2017-03-10 2018-11-28 株式会社Ｓｕｂａｒｕ 画像表示装置
JP6497819B2 (ja) 2017-03-10 2019-04-10 株式会社Ｓｕｂａｒｕ 画像表示装置
JP6465317B2 (ja) 2017-03-10 2019-02-06 株式会社Ｓｕｂａｒｕ 画像表示装置
JP6515125B2 (ja) 2017-03-10 2019-05-15 株式会社Ｓｕｂａｒｕ 画像表示装置
JP6593803B2 (ja) 2017-03-10 2019-10-23 株式会社Ｓｕｂａｒｕ 画像表示装置
JP6465318B2 (ja) 2017-03-10 2019-02-06 株式会社Ｓｕｂａｒｕ 画像表示装置
JP6497818B2 (ja) 2017-03-10 2019-04-10 株式会社Ｓｕｂａｒｕ 画像表示装置
DE102017205041A1 (de) * 2017-03-24 2018-09-27 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum Empfangen und/oder Aussenden einer Präsenzinformation und Kopfhörersystem
CN107481516A (zh) * 2017-09-21 2017-12-15 临沂市华夏高科信息有限公司 一种行人过街安全警示系统
KR101984557B1 (ko) * 2017-09-22 2019-09-03 (주)파트론 헤드셋 및 이의 충돌 경고 방법
TWI648711B (zh) * 2017-09-29 2019-01-21 光寶科技股份有限公司 可推播資訊的燈具、電子裝置以及通行資訊推播系統
JP7100998B2 (ja) * 2018-03-08 2022-07-14 本田技研工業株式会社 車両制御装置、車両制御方法、およびプログラム
US11257370B2 (en) 2018-03-19 2022-02-22 Derq Inc. Early warning and collision avoidance
DE102018208105B3 (de) 2018-05-23 2019-03-21 Volkswagen Aktiengesellschaft Verfahren zum Unterstützen eines Führens wenigstens eines Kraftfahrzeugs und Assistenzsystem
KR101942506B1 (ko) * 2018-07-16 2019-01-28 주식회사 프린트플랜 음원 보조 인식 장치
US10728650B2 (en) 2018-07-24 2020-07-28 Harman International Industries, Incorporated Shape-shifting headphones
US10993030B2 (en) 2018-07-24 2021-04-27 Harman International Industries, Incorporated Shape-shifting headphones
KR102161884B1 (ko) * 2018-08-17 2020-10-05 최지수 횡단보도 경고 시스템
JP7313806B2 (ja) * 2018-08-24 2023-07-25 パナソニックホールディングス株式会社 歩行者装置、車載装置、歩車間通信システムおよび安全確認支援方法
WO2020040147A1 (ja) 2018-08-24 2020-02-27 パナソニック株式会社 歩行者装置、通信装置、および情報配信方法
CN109334566B (zh) * 2018-08-31 2022-01-25 阿波罗智联(北京)科技有限公司 用于提供车外反馈的方法、装置、设备和存储介质
JP6746652B2 (ja) * 2018-09-26 2020-08-26 京セラ株式会社 電子機器、電子機器の制御方法、及び電子機器の制御プログラム
US10997417B2 (en) * 2018-12-16 2021-05-04 Remone Birch Wearable environmental monitoring system
KR102062340B1 (ko) * 2019-01-17 2020-01-03 주식회사 프린트플랜 음원 보조 인식 장치
US10565863B1 (en) * 2019-01-31 2020-02-18 StradVision, Inc. Method and device for providing advanced pedestrian assistance system to protect pedestrian preoccupied with smartphone
WO2020165050A1 (en) * 2019-02-15 2020-08-20 Defsecintel Solutions Oü Method, device and system for detecting hazardous objects
CN113519167A (zh) * 2019-03-04 2021-10-19 麦克赛尔株式会社 头戴式信息处理装置
CN110175593A (zh) * 2019-05-31 2019-08-27 努比亚技术有限公司 可疑对象处理方法、可穿戴设备和计算机可读存储介质
US11635814B2 (en) * 2019-07-25 2023-04-25 International Business Machines Corporation Preventing access to potentially hazardous environments
CA3148680A1 (en) 2019-08-29 2021-03-04 Derq Inc. Enhanced onboard equipment
JP7284918B2 (ja) * 2019-09-20 2023-06-01 株式会社Ｊｖｃケンウッド 携帯端末
JP7272211B2 (ja) * 2019-09-20 2023-05-12 株式会社Ｊｖｃケンウッド 携帯端末
JP7272212B2 (ja) * 2019-09-20 2023-05-12 株式会社Ｊｖｃケンウッド 携帯端末
JP7272208B2 (ja) * 2019-09-20 2023-05-12 株式会社Ｊｖｃケンウッド 携帯端末
JP7272210B2 (ja) * 2019-09-20 2023-05-12 株式会社Ｊｖｃケンウッド 携帯端末
JP7272209B2 (ja) * 2019-09-20 2023-05-12 株式会社Ｊｖｃケンウッド 携帯端末
JP7284919B2 (ja) * 2019-09-20 2023-06-01 株式会社Ｊｖｃケンウッド 携帯端末
US11044961B1 (en) * 2019-10-09 2021-06-29 Jessel Craig Safety helmet
US11134148B2 (en) * 2020-01-31 2021-09-28 International Business Machines Corporation Controlling mobile computing device according to user's responsiveness
US20210398409A1 (en) * 2020-04-13 2021-12-23 Akul Sri Datta Hazard detection system
JPWO2021230049A1 (zh) * 2020-05-12 2021-11-18
US11626001B1 (en) * 2020-07-28 2023-04-11 United Services Automobile Association (Usaa) Wearable system for detection of environmental hazards
US11176825B1 (en) * 2020-11-17 2021-11-16 Ford Global Technologies, Llc Systems and methods for vehicle backup warning notification
EP4002873A1 (en) * 2020-11-23 2022-05-25 Sonova AG Hearing system, hearing device and method for providing an alert for a user
US20220187906A1 (en) * 2020-12-16 2022-06-16 Starkey Laboratories, Inc. Object avoidance using ear-worn devices and image sensors
JP2022105941A (ja) * 2021-01-05 2022-07-15 菱洋エレクトロ株式会社 触覚刺激を与える身体装着具
CN112906625A (zh) * 2021-03-12 2021-06-04 北京市商汤科技开发有限公司 一种避障提示方法、装置、电子设备及存储介质
JPWO2022244372A1 (zh) * 2021-05-21 2022-11-24
US20220392337A1 (en) * 2021-06-08 2022-12-08 Qualcomm Incorporated Positioning using traffic control
US11823162B2 (en) 2021-06-09 2023-11-21 Bank Of America Corporation Automatic alerting communications systems and methods
DE102021210963A1 (de) * 2021-09-30 2023-03-30 Sivantos Pte. Ltd. Verfahren zum Betrieb eines Hörsystems mit einem Hörinstrument
DE102021130661A1 (de) 2021-11-23 2023-05-25 Bayerische Motoren Werke Aktiengesellschaft Verfahren und vorrichtung zur bestimmung einer ablenkung eines nichtmotorisierten verkehrsteilnehmers

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10246640A (ja) * 1997-03-03 1998-09-14 Honda Motor Co Ltd 車両用情報表示装置
US20040150514A1 (en) * 2003-02-05 2004-08-05 Newman Timothy J. Vehicle situation alert system with eye gaze controlled alert signal generation
JP2007334609A (ja) * 2006-06-14 2007-12-27 Canon Inc 電子機器および電子機器において危険の接近を警告方法
US20080079571A1 (en) * 2006-09-29 2008-04-03 Ramin Samadani Safety Device
CN102044145A (zh) * 2009-10-20 2011-05-04 通用汽车环球科技运作公司 车辆与实体通信
CN102085841A (zh) * 2009-12-03 2011-06-08 株式会社电装 车辆接近警告系统、便携式警告终端及车载通信装置
CN102224533A (zh) * 2008-11-21 2011-10-19 日本电气株式会社 移动通信终端、基站、警告系统和用于控制移动通信终端的方法
JP2013008307A (ja) * 2011-06-27 2013-01-10 Mitsubishi Motors Corp 歩行者用周辺監視装置
JP2013008308A (ja) * 2011-06-27 2013-01-10 Mitsubishi Motors Corp 車両接近通報装置
JP2013025527A (ja) * 2011-07-20 2013-02-04 Nissan Motor Co Ltd 運転支援用の通信タグ及び運転支援システム
US20130044005A1 (en) * 2011-08-18 2013-02-21 George Brandon Foshee Object detection device
US20130242093A1 (en) * 2012-03-15 2013-09-19 Behavioral Recognition Systems, Inc. Alert directives and focused alert directives in a behavioral recognition system
CN103770733A (zh) * 2014-01-15 2014-05-07 中国人民解放军国防科学技术大学 一种驾驶员安全驾驶状态检测方法及装置

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01172194U (zh) * 1988-05-24 1989-12-06
US5647011A (en) 1995-03-24 1997-07-08 Garvis; Andrew W. Headphone sound system
AU2003269772A1 (en) 2002-10-15 2004-05-04 Volvo Technology Corporation Method and arrangement for interpreting a subjects head and eye activity
JP4725036B2 (ja) * 2003-12-16 2011-07-13 株式会社デンソー 通信装置、移動体用通信システム及びプログラム
JP4052274B2 (ja) * 2004-04-05 2008-02-27 ソニー株式会社 情報提示装置
JP2006093792A (ja) 2004-09-21 2006-04-06 Yamaha Corp 特定音声再生装置、及び特定音声再生ヘッドホン
WO2006036262A2 (en) 2004-09-23 2006-04-06 Thomson Licensing Method and apparatus for controlling a headphone
JP2007334554A (ja) * 2006-06-14 2007-12-27 Nissan Motor Co Ltd 障害物検出装置および障害物検出方法
US7986791B2 (en) 2006-10-17 2011-07-26 International Business Machines Corporation Method and system for automatically muting headphones
US20090232325A1 (en) 2008-03-12 2009-09-17 Johan Lundquist Reactive headphones
JP5354514B2 (ja) * 2008-03-31 2013-11-27 現代自動車株式会社 脇見運転検出警報システム
JP5520534B2 (ja) * 2009-07-27 2014-06-11 オートリブ ディベロップメント エービー シートベルト制御装置
JP2013097480A (ja) * 2011-10-31 2013-05-20 Hitachi Consumer Electronics Co Ltd 車両用衝突危険予測装置及び車両用衝突危険予測システム
EP2654028B1 (en) * 2012-04-20 2018-09-26 Honda Research Institute Europe GmbH Orientation sensitive traffic collision warning system
KR101375868B1 (ko) * 2012-08-07 2014-03-17 한양대학교 산학협력단 감지 기능을 구비한 착용형 디스플레이 장치
JP6429368B2 (ja) * 2013-08-02 2018-11-28 本田技研工業株式会社 歩車間通信システムおよび方法

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10246640A (ja) * 1997-03-03 1998-09-14 Honda Motor Co Ltd 車両用情報表示装置
US20040150514A1 (en) * 2003-02-05 2004-08-05 Newman Timothy J. Vehicle situation alert system with eye gaze controlled alert signal generation
JP2007334609A (ja) * 2006-06-14 2007-12-27 Canon Inc 電子機器および電子機器において危険の接近を警告方法
US20080079571A1 (en) * 2006-09-29 2008-04-03 Ramin Samadani Safety Device
CN102224533A (zh) * 2008-11-21 2011-10-19 日本电气株式会社 移动通信终端、基站、警告系统和用于控制移动通信终端的方法
CN102044145A (zh) * 2009-10-20 2011-05-04 通用汽车环球科技运作公司 车辆与实体通信
CN102085841A (zh) * 2009-12-03 2011-06-08 株式会社电装 车辆接近警告系统、便携式警告终端及车载通信装置
JP2013008307A (ja) * 2011-06-27 2013-01-10 Mitsubishi Motors Corp 歩行者用周辺監視装置
JP2013008308A (ja) * 2011-06-27 2013-01-10 Mitsubishi Motors Corp 車両接近通報装置
JP2013025527A (ja) * 2011-07-20 2013-02-04 Nissan Motor Co Ltd 運転支援用の通信タグ及び運転支援システム
US20130044005A1 (en) * 2011-08-18 2013-02-21 George Brandon Foshee Object detection device
US20130242093A1 (en) * 2012-03-15 2013-09-19 Behavioral Recognition Systems, Inc. Alert directives and focused alert directives in a behavioral recognition system
CN103770733A (zh) * 2014-01-15 2014-05-07 中国人民解放军国防科学技术大学 一种驾驶员安全驾驶状态检测方法及装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107622629A (zh) * 2017-09-04 2018-01-23 深圳支点电子智能科技有限公司 一种安全提示方法和智能手表
CN110060465A (zh) * 2019-04-30 2019-07-26 浙江吉利控股集团有限公司 一种用于车辆行人交互系统的交互方法及交互系统
CN113196729A (zh) * 2019-09-20 2021-07-30 Jvc建伍株式会社 便携终端
CN113196729B (zh) * 2019-09-20 2022-06-03 Jvc建伍株式会社 便携终端
CN111161507A (zh) * 2019-12-26 2020-05-15 潘文娴 基于智能穿戴设备的危险感知方法、装置及智能穿戴设备

Also Published As

Publication number Publication date
WO2016048704A1 (en) 2016-03-31
JP6688286B2 (ja) 2020-04-28
US20160093207A1 (en) 2016-03-31
JP2017536595A (ja) 2017-12-07
CN106716513B (zh) 2021-02-02
KR20170066357A (ko) 2017-06-14
KR102466521B1 (ko) 2022-11-11
US9947215B2 (en) 2018-04-17

Similar Documents

Publication Publication Date Title
CN106716513A (zh) 行人信息系统
US10257499B2 (en) Motion sensor
US10955674B2 (en) Energy-harvesting beacon device
US9846999B1 (en) Smartphone safety system for pedestrians
US8953841B1 (en) User transportable device with hazard monitoring
JP7092165B2 (ja) 眼鏡型ウェアラブル端末及びその制御プログラム並びに通知方法
Hoang et al. Obstacle detection and warning system for visually impaired people based on electrode matrix and mobile Kinect
US9805619B2 (en) Intelligent glasses for the visually impaired
US10360437B2 (en) Collision avoidance system for augmented reality environments
US20160078278A1 (en) Wearable eyeglasses for providing social and environmental awareness
Islam et al. Automated walking guide to enhance the mobility of visually impaired people
US20120262582A1 (en) Conduct and Context Relationships In Mobile Devices
EP3051810B1 (en) Surveillance
Hasan et al. Pedestrian safety using the Internet of things and sensors: Issues, challenges, and open problems
Manjari et al. CREATION: Computational constRained travEl aid for objecT detection in outdoor eNvironment
Argüello Prada et al. A belt-like assistive device for visually impaired people: Toward a more collaborative approach
Sun et al. “Watch your step”: precise obstacle detection and navigation for Mobile users through their Mobile service
JP6120444B2 (ja) ウェアラブルデバイス
JP2018195194A (ja) 情報処理システム、情報処理装置、情報処理方法およびプログラム
JP6321848B2 (ja) ウェアラブルデバイス
Manjari et al. A travel aid for visually impaired: R-Cane
CN115877778A (zh) 机器人的控制方法、机器人以及程序
FR3022386A1 (fr) Dispositif d'avertissement lie a des personnes et procede d'avertissement mis en oeuvre
US20230145966A1 (en) Augmented reality device performing audio recognition and control method therefor
US20210124045A1 (en) Smart wearable sensor system and methods to lower risks of distracted walking

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant