CN102682571B - 信息处理装置、报警方法和程序 - Google Patents

信息处理装置、报警方法和程序 Download PDF

Info

Publication number
CN102682571B
CN102682571B CN201210018916.0A CN201210018916A CN102682571B CN 102682571 B CN102682571 B CN 102682571B CN 201210018916 A CN201210018916 A CN 201210018916A CN 102682571 B CN102682571 B CN 102682571B
Authority
CN
China
Prior art keywords
user
unit
interest
potential source
dangerous
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201210018916.0A
Other languages
English (en)
Other versions
CN102682571A (zh
Inventor
贝野彰彦
岩井嘉昭
多井坚郎
多井坚一郎
本间俊
本间俊一
吴嘉宁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN102682571A publication Critical patent/CN102682571A/zh
Application granted granted Critical
Publication of CN102682571B publication Critical patent/CN102682571B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/005—Traffic control systems for road vehicles including pedestrian guidance indicator

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Traffic Control Systems (AREA)
  • Studio Devices (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Alarm Systems (AREA)

Abstract

本公开涉及信息处理装置、报警方法和程序。提供了一种包括存储指令的存储器的设备。该设备包括控制单元，该控制单元用于执行指令以发送信号，以针对用户显示叠加到真实空间表示上的第一虚拟图像。该控制单元进一步执行指令以发送信号，以识别用户所关心的潜在源，所关心的潜在源位于真实空间表示中的用户关注区域外部。该控制单元进一步执行指令以发送信号，以向用户通知所关心的潜在源。

Description

信息处理装置、报警方法和程序
本公开包含与2011年1月28日提交日本专利局的日本在先专利申请JP 2011-016440中公开的主题内容相关的主题内容，该专利申请的整体内容通过引用结合于此。
技术领域
本公开涉及信息处理装置、报警方法和程序。
背景技术
已提出了针对增强现实(AR)的各种应用，它们将额外的信息添加或叠加到真实世界或真实世界图像上以呈现给用户。例如，在下面的非专利文献1中描述的应用中，与地图上的任意位置相关联的虚拟标签预先登记到系统中。然后，在由用户携带的终端所捕捉的图像中，与出现在图像中的位置相关联的标签被显示为叠加到该位置上。
引用文献列表
非专利文献
“Sekai Camera Support Center”，<在线>，<于2010年12月22日检索>，互联网<URL：http://support.sekaicamera.com/en>
发明内容
在增强现实应用正在被提供的时间期间，用户的注意力很可能被吸引到应用屏幕。增强现实应用的屏幕给予用户观看真实世界的感觉，这不同于其他类型应用的屏幕。这种感觉可能具有某些后果并且甚至可能是危险的。具体地，在现实中，移动终端的屏幕或者头戴式显示器的屏幕的视角比人类视觉的视角狭窄。此外，存在如下可能性：针对用户的观看而言，存在于真实世界中的真实物体可能被增强现实应用的额外信息所隐藏。这可能增加如下风险：在增强现实应用正在被提供的时间期间，用户未能注意到(或迟于注意到)存在于真实世界中的危险。
考虑到前述状况，希望提供一种信息处理装置、报警方法和程序，其在增强现实应用正在被提供的时间期间减少了用户在真实世界中面临的危险的风险。
在一个示例性实施例中，本公开涉及的是提供一种包括存储指令的存储器的设备。该设备包括控制单元，该控制单元用于执行指令以发送信号，以针对用户显示叠加到真实空间表示上的第一虚拟图像。该控制单元进一步执行指令以发送信号，以识别用户所关心的潜在源，所关心的潜在源位于真实空间表示中的用户关注区域外部。该控制单元进一步执行指令以发送信号，以向用户通知所关心的潜在源。
在另一示例性实施例中，本公开涉及一种包括针对用户显示叠加到真实空间表示上的虚拟图像的方法。该方法进一步包括识别用户所关心的潜在源，所关心的潜在源位于真实空间表示中的用户关注区域外部。该方法进一步包括向用户通知所关心的潜在源。在另一示例性实施例中，本公开涉及一种存储指令的有形地实施的非暂态的计算机可读介质，这些指令在由处理器执行时，执行包括针对用户显示叠加到真实空间表示上的虚拟图像的方法。该方法进一步包括识别用户所关心的潜在源，所关心的潜在源位于真实空间表示中的用户关注区域外部。该方法进一步包括向用户通知所关心的潜在源。
根据本公开实施例的信息处理装置、报警方法和程序可以在增强现实应用正在被提供的同时减少用户忽视所关心的潜在源的风险，所关心的潜在源诸如例如用户在真实世界中面临的危险。
附图说明
图1是示出其中可以使用增强现实应用的情形的示例的视图；
图2是示出根据实施例的信息处理装置的配置示例的框图；
图3是示出根据实施例的信息处理装置的控制单元所实施的功能配置的示例的框图；
图4是用来描述根据实施例的信息处理装置中的成像装置和测距传感器的布局的第一说明图；
图5是用来描述根据实施例的信息处理装置中的成像装置和测距传感器的布局的第二说明图；
图6是用来描述根据实施例的可用于识别危险的参数的示例的视图；
图7是用来描述根据实施例的可以识别的危险的类型的视图；
图8是示出根据实施例的传送关于危险的信息的装置的第一示例的视图；
图9是示出根据实施例的传送关于危险的信息的装置的第二示例的视图；
图10是示出根据实施例的传送关于危险的信息的装置的第三示例的视图；
图11是示出根据实施例的通过报警单元进行的报警的第一示例的视图；
图12是示出根据实施例的通过报警单元进行的报警的第二示例的视图；
图13是示出根据实施例的通过报警单元进行的报警的第三示例的视图；
图14是示出根据实施例的通过报警单元进行的报警的第四示例的视图；
图15是示出第一场景中的危险报警处理的流程的示例的流程图；
图16是示出第二场景中的危险报警处理的流程的示例的流程图；
图17是示出第三场景中的危险报警处理的流程的示例的流程图；
图18是示出第四场景中的危险报警处理的流程的示例的流程图；
图19是示出第五场景中的危险报警处理的流程的示例的流程图；以及
图20是图2的控制单元的一个实施形式的框图。
具体实施方式
在下文中，将参照附图来详细地描述本公开的优选实施例。在此，具有基本上相同的功能和结构的结构性元件用相同的附图标记指示，并且可能省略对这些结构性元件的重复说明。
此外，将按以下顺序来提供“对实施例的描述”：
1.根据实施例的信息处理装置的概述
2.根据实施例的信息处理装置的配置示例
3.根据示例性实施例的处理的流程
4.总结
1.根据实施例的信息处理装置的概述
图1是示出其中可以使用增强现实(AR)应用的情形的示例的视图。参照图1，在真实空间1中，用户Ua走在人行道上，并且在用户Ua的前面存在障碍物10和楼梯12。此外，用户Ua具有信息处理装置100。信息处理装置100是能够提供AR应用的装置。信息处理装置100可以是例如，智能电话、个人计算机(PC)、游戏终端、便携式音乐播放器等或其他适当的装置。在AR应用通过信息处理装置100被提供给用户Ua的时间期间，用户Ua的注意力可能被吸引到信息处理装置100的屏幕。信息处理装置100的屏幕可以示出真实世界的表示。然而，由于屏幕的视角可能比用户Ua的视角狭窄，并且额外的应用进一步显示在屏幕上，因此风险增加了：在AR应用正在被提供的时间期间，用户Ua未能注意到(或迟于注意到)存在于真实空间1中的所关心的物体或其他潜在源。例如，用户可能错过该用户可能对其有兴趣的餐馆或商店。其他所关心的潜在源可以包括公用设施(例如升降梯、公用电话、公共信息亭等)、所关心的地方(例如医院、汽车修理厂、博物馆、电影院、公园、熟人的家、学校、图书馆等)或者事件(例如表演或展览)。用户所关心的潜在源的一个示例性类别包括可能对用户呈现某种水平的物理危险的各种物体或地方。后者的示例将在此用于说明本发明的各方面。然而，将理解的是，本发明不限于用在向用户展示物理危险的用户关心的潜在源方面，而是事实上可以用在用户关心的任何适当的潜在源(例如消遣的、实用的或者其他的)方面。
作为物理危险源的示例，用户Ua可能在障碍物10上绊倒。还存在用户Ua可能撞到楼梯12的可能性。此外，存在用户Ua可能走下人行道并进入车道或其他危险区域的可能性。除了图1所示的示例之外，多种危险存在于真实世界中。根据本公开实施例的信息处理装置100通过以下描述的方案向用户警告存在这样的危险。
2.根据实施例的信息处理装置的配置示例
根据本公开的一个实施例，提供了一种设备，包括：存储器，其存储指令；以及控制单元，其执行指令以发送信号，以针对用户显示叠加到真实空间表示上的第一虚拟图像；发送信号，以识别用户所关心的潜在源，所关心的潜在源位于真实空间表示中的用户关注区域外部；以及发送信号，以向用户通知所关心的潜在源。
2-1.硬件配置
图2是示出图1所示的信息处理装置100的配置示例的框图。参照图2，信息处理装置100包括成像单元102、传感器单元104、定位单元106、通信单元108、存储单元110、输入单元112、显示单元114、语音输出单元116、振动单元118、总线119和控制单元120。
成像单元
成像单元102可以包括具有诸如电荷耦合器件(CCD)或互补金属氧化物半导体(CMOS)的图像拾取装置的相机模块。成像单元102可以对真实空间1进行成像并且由此生成一个或多个输入图像。由成像单元102生成的输入图像可以用于提供AR应用，并且进一步用于估计用户位置并且估计出现在输入图像中的真实物体的位置。成像单元102可以与信息处理装置100分离地配置，并且在提供AR应用时连接到信息处理装置100。
传感器单元
传感器单元104可以包括支持信息处理装置100进行的对危险的识别的一个或多个传感器。例如，传感器单元104可以包括陀螺仪传感器、加速度传感器和地磁传感器中的至少一个，并且测量信息处理装置100的倾角、3轴加速度或方向。信息处理装置100的倾角、3轴加速度或方向可用于估计信息处理装置100的姿态。
此外，传感器单元104可以包括激光或红外测距传感器，其测量真实空间中的真实物体和用户之间的距离。测距传感器可以有能力沿着与成像单元102的取向(光轴)不同的方向测量距离(参见图4)。这可以允许信息处理装置100识别存在于相对信息处理装置100的视角偏离的位置处的障碍(例如障碍物10)(参见图5)。基于测距传感器测量的距离和信息处理装置100的姿态，还可以估计信息处理装置100和障碍的相对位置。注意，可以面对任何方向安装测距传感器，不一定如图5所示那样面朝下。
定位单元
定位单元106可以包括测量信息处理装置100的位置的模块。例如，定位单元106可以是全球定位系统(GPS)模块，其接收GPS信号并测量信息处理装置100的纬度、经度和海拔。可替选地，定位单元106可以是诸如PlaceEngine(注册商标)的定位模块，其基于从无线接入点接收的无线电信号的强度来测量信息处理装置100的位置。
通信单元
通信单元108可以包括由信息处理装置100用来与别的装置通信的通信接口。例如，通信单元108可以从外部装置接收关于危险的信息。此外，通信单元108可以将关于危险的信息传送到具有与信息处理装置100相似或不同的危险报警功能的装置。
存储单元
通过使用有形地实施的非暂态的、计算机可读存储介质，诸如半导体存储器、硬盘、CD-ROM等，存储单元110可以存储用于由信息处理装置100处理的程序和数据。例如，存储单元110可以存储由成像单元102生成的输入图像、从传感器单元104输出的传感器数据、由定位单元106测量的位置数据以及由通信单元108接收的外部信息。此外，存储单元110可以存储稍后描述的用于图像识别处理的特征数据。存储单元110中存储的特征数据是表示真实空间中的一个或多个真实物体的外观特征的数据。
输入单元
输入单元112可以由信息处理装置100的用户用来操作信息处理装置100或者将信息输入到信息处理装置100。输入单元112可以包括例如键盘、按钮、开关和触摸面板等。输入单元112可以包括手势识别模块，其识别出现在输入图像中的用户的手势。
显示单元
显示单元114可以包括具有屏幕的显示模块，该屏幕显示由AR应用生成并且叠加到真实空间上的虚拟对象。在显示单元114的屏幕上，还可以显示用于警告用户存在危险的物体。显示单元114的屏幕可以是透明类型的或非透明类型的。此外，显示单元114可以与信息处理装置100分离地配置，和/或在提供AR应用时连接到信息处理装置100。
语音输出单元
语音输出单元116可以典型地是向用户输出声音或语音的扬声器。语音输出单元116可用于通过用户的听觉来警告用户存在危险。
振动单元
振动单元118可以是诸如电驱动的偏心马达的振动器。振动单元118可用于通过用户的触觉警告用户存在危险。
总线
总线119可以彼此连接成像单元102、传感器单元104、定位单元106、通信单元108、存储单元110、输入单元112、显示单元114、语音输出单元116、振动单元118和控制单元120。
控制单元
控制单元120可以包括诸如中央处理单元(CPU)或数字信号处理器(DSP)的处理器121、存储器122和计算机可读介质123。图20中示出了一个这样的示例性控制单元120。控制单元120可以执行形成存储单元110中存储的程序的指令，以例如使下面描述的信息处理装置100的各种功能工作。
2-2.功能配置
图3是示出可以由图2所示的信息处理装置100的控制单元120实施的功能配置的示例的框图。参照图3，控制单元120可以包括应用单元130、图像识别单元140、估计单元150、地图存储单元152、信息获取单元160、危险识别单元170、报警单元180和设定单元190。
应用单元
应用单元130可以向用户提供显示叠加到真实空间上的虚拟对象的AR应用。由应用单元130提供的AR应用可以是具有任何目的的应用，诸如例如导航、工作支持、信息服务或游戏。应用单元130可以与出现在输入图像中的真实物体相关联地创建将要呈现给用户的虚拟对象。然后，应用单元130将显示创建的虚拟对象的图像输出到显示单元114。基于输入图像的图像识别的结果，应用单元130可以确定虚拟对象的显示位置。
图像识别单元
图像识别单元140可以执行由成像单元102成像的输入图像的图像识别处理。例如，图像识别单元140可以针对存储在存储单元110中的特征数据对从输入图像中提取的特征数据进行检查，并且由此识别出现在输入图像中的真实空间中的真实物体或区域。例如使用David G.Lowe在“Distinctive Image Features from Scale-Invariant Keypoints”(theInternational Journal of Computer Vision，2004)中描述的尺度不变特征变换(SIFT)方法，可以完成图像识别单元140对特征数据所进行的检查。此外，例如使用Mustafa Oezuysal等人在“Fast Keypoint Recognitionusing Random Ferns”(IEEE Transactions on Pattern Analysis andMachine Intelligence，Vol.32，Nr.3，pp.448-461，March 2010)中描述的Random Ferns方法，可以完成图像识别单元140对特征数据所进行的检查。此外，图像识别单元140可以识别在真实空间中的真实物体或区域中的外观中显露的标记(自然的或人工的标记)。图像识别单元140可以向估计单元150输出将识别的真实物体或区域识别为图像识别的结果的信息(例如输入图像中的标识符和位置或范围)。
估计单元
基于图像识别单元140进行的图像识别的结果，估计单元150可以估计存在于真实空间中的每个真实物体的位置以及每个真实物体和成像单元102之间的距离。例如，通过比较每个真实物体(或标记)的实际尺寸和输入图像中的尺寸，估计单元150估计每个真实物体和成像单元102之间的距离。然后，根据估计的距离以及成像单元102的位置和姿态(信息处理装置100的位置和姿态)，估计单元150可以估计每个真实物体相对于信息处理装置100的相对位置。此外，根据SLAM技术的原理，估计单元150可以动态地估计真实空间中的每个真实物体和信息处理装置100之间的相对位置。Andrew J.Davison在“Real-Time SimultaneousLocalization and Mapping with a Single Camera”(Proceedings of the 9thIEEE International Conference on Computer Vision Volume 2，2003，pp.1403-1410)中详细地描述了SLAM技术的原理。可以假设真实空间中的真实物体和信息处理装置100之间的距离对应于真实空间中的真实物体和危险识别中的用户之间的距离。
注意，估计单元150可以从成像单元102获取诸如变焦比之类的相机参数，并且根据获取的相机参数来校正每个真实物体的位置和与每个真实物体的距离的估计结果。
地图存储单元
通过使用诸如半导体存储器或硬盘的存储介质，地图存储单元152可以存储由估计单元150估计的每个真实物体的位置。即使在真实物体或区域随着信息处理装置100移动而从输入图像中消失之后，信息处理装置100仍可以由此识别图像识别单元140识别过一次的真实物体或区域。
信息获取单元
信息获取单元160可以获取将要由危险识别单元170用来识别危险的关于危险的信息。关于危险的信息可以预先存储在存储单元110中，或者可以通过通信单元108从外部装置动态地获取。
例如，信息获取单元160可以获取危险区域信息，该危险区域信息定义了真实空间中具有比较低的安全水平的危险区域。危险区域可以是例如楼梯、升降梯、车道、交叉路口、月台、建筑工地等。危险区域信息可以包括指示每个危险区域的标识符的坐标数据和每个危险区域的范围。
此外，信息获得单元160可以获取危险物体信息，该危险物体信息定义了真实空间中很可能对用户造成危险的危险物体。危险物体可以是例如真实空间中的静态物体和动态物体当中的可能对用户造成危险的真实物体。危险物体例如可以是静态障碍，诸如例如放置在马路上的物体、下落物体、广告显示器、柱或墙。此外，危险物体例如可以是可高速移动的动态物体，诸如例如汽车、自行车或火车。危险物体信息可以包括指示每个危险物体的标识符的坐标数据、特征数据或每个危险物体的位置等。
危险识别单元
危险识别单元170可以识别用户在真实空间中面临的危险。基于用于提供AR应用的输入图像的图像识别的结果，危险识别单元170可以识别危险。此外，基于由传感器单元104的测距传感器测量的与每个真实物体的距离，危险识别单元170可以识别使用输入图像未识别出的危险。此外，危险识别单元170识别与用户面临的危险的原因相对应的真实空间中的位置或区域。当识别出危险时，危险识别单元170将表示危险的细节和真实空间中的对应位置或区域的信息输出到报警单元180。
图6是用来描述根据这个实施例的可以由危险识别单元170使用以便识别危险的参数的示例的视图。参照图6，在此描述的十二个不同参数被示出为可以由危险识别单元170使用的参数的示例。
(1)用户位置
用户位置是例如携带信息处理装置100的用户的位置。通过使用GPS信号的定位单元106可以测量用户的绝对位置。此外，基于通过图像识别单元140进行的图像识别的结果，可以通过估计单元150估计用户相对于附近的真实物体或区域的相对位置。当附近地标的绝对位置已知时，基于用户相对于地标的相对位置和已知的地标位置，可以计算用户的绝对位置。在这个实施例中，可以假设用户位置、信息处理装置100的位置和成像单元102的位置彼此大致相同。
(2)用户的行进速度
例如可以根据用户位置随时间的变化来计算用户的行进速度。此外，当传感器单元104包括加速度传感器时，可以通过对加速度传感器的输出值的积分来计算用户的行进速度。
(3)静态物体的位置
基于通过图像识别单元140进行的图像识别的结果，可以通过估计单元150来估计静态物体的相对位置。可以通过存储单元110中存储的位置数据来预先定义已知的静态物体的位置。此外，使用稍后描述的从外部装置获取的位置数据，可以识别静态物体的位置。
(4)与静态物体的距离
根据静态物体相对于用户位置的相对位置，可以计算静态物体和用户之间的距离。此外，使用传感器单元104中包括的测距传感器，可以测量静态物体和用户之间的距离。
(5)针对静态物体的接近速度
根据静态物体和用户之间的距离随时间的变化，可以计算用户针对静态物体的接近速度(或静态物体针对用户的接近速度)。
(6)动态物体的位置
例如，基于通过图像识别单元140进行的图像识别的结果，可以通过估计单元150来估计动态物体的相对位置。此外，使用稍后描述的从外部装置获取的位置数据，可以识别动态物体的位置。
(7)与动态物体的距离
根据动态物体相对于用户位置的相对位置，可以计算动态物体和用户之间的距离。此外，使用传感器单元104中包括的测距传感器，可以测量动态物体和用户之间的距离。
(8)针对动态物体的接近速度
根据动态物体和用户之间的距离随时间的变化，可以计算用户针对动态物体的接近速度(或动态物体针对用户的接近速度)。
(9)危险物体的存在
作为通过图像识别单元140进行的图像识别的结果，可以识别危险物体的存在。例如通过针对已知标识符的列表来检查识别的真实物体的标识符，可以确定识别的真实物体是否是危险物体。可替选地，行进速度超过预定阈值的真实物体可以临时被识别为危险物体。
此外，通过由通信单元108接收在危险物体的附近发出的信标，可以识别危险物体的存在。根据地图存储单元152中存储的危险物体的位置和用户位置之间的距离，可以识别未出现在输入图像中的附近危险物体的存在。
(10)危险物体的位置
以与静态物体的位置或动态物体的位置相同的方式，可以识别危险物体的位置。
(11)危险区域的范围
作为通过图像识别单元140进行的图像识别的结果，可以识别危险区域的范围。可以通过存储单元110中存储的危险区域信息来预先定义危险区域的范围。此外，使用从外部装置获取的危险区域信息，可以识别危险区域的范围。
(12)对象占用率
对象占用率是表示显示的虚拟对象在屏幕上的比例的参数。危险识别单元170例如从应用单元130中获取指示虚拟对象的显示容量(例如虚拟对象的尺寸在屏幕上的总值)的信息。然后，通过将虚拟对象的显示容量除以输入图像的尺寸(或屏幕尺寸)，危险识别单元170计算对象占用率。
通过使用上面描述的十二个参数中的至少一个，危险识别单元170识别用户在真实空间中面临的危险。
图7是用来描述根据这个实施例的可以由危险识别单元170识别的危险的类型的视图。应当注意，“危险”的来源指的是提供用户所关心的物体的具体示例。参照图7，可以由危险识别单元170识别的危险被分成五种类型：“与静态物体碰撞”、“与动态物体碰撞”、“接近危险物体”、“接近/进入危险区域”以及“阻止用户的注意力”。
(1)与静态物体碰撞
例如当某个静态物体和用户之间的距离落在预定阈值以下时，危险识别单元170可以确定存在用户可能与物体碰撞的可能性。此外，当针对某个静态物体的接近速度超过预定阈值时，危险识别单元170可以确定存在用户可能与物体碰撞的可能性。然后，危险识别单元170可以将很可能与用户碰撞的静态物体的存在识别为危险。
(2)与动态物体碰撞
例如当某个动态物体和用户之间的距离落在预定阈值以下时，危险识别单元170可以确定存在用户可能与物体碰撞的可能性。此外，当针对某个动态物体的接近速度(或者动态物体针对用户的接近速度)超过预定阈值时，危险识别单元170可以确定存在用户可能与物体碰撞的可能性。关于动态物体的用于确定的阈值可以不同于上述的关于静态物体的用于确定的阈值。然后，危险识别单元170可以将可能与用户碰撞的动态物体的存在识别为危险。
(3)接近危险物体
危险识别单元170可以将用户针对危险物体的接近识别为危险。当通过图像识别或者通过接收来自危险物体的信标而检测到危险物体的存在时，危险识别单元170可以确定用户已接近危险物体。此外，通过将危险物体和用户之间的距离与预定阈值相比较，危险识别单元170可以确定用户已接近危险物体。
(4)接近/进入危险区域
危险识别单元170可以将用户接近或进入危险区域识别为危险。在当前用户位置处于危险区域内时，危险识别单元170可以确定用户已进入危险区域。此外，通过将危险区域的边界和当前用户位置之间的距离与预定阈值相比较，危险识别单元170可以确定用户已接近危险区域。此外，危险识别单元170可以将其中地板(或地面)的水平大幅变化的区域识别为危险区域。
(5)阻止用户的注意力
危险识别单元170可以将其中用户的注意力可以被阻止的状态识别为危险。当上述的对象占用率超过预定阈值时，危险识别单元170可以确定用户的注意力可以被AR应用阻止。此外，当用户的行进速度超过预定阈值时，危险识别单元170可以确定用户的注意力可以被阻止。
当危险识别单元170识别出适用于上面描述的五种类型中的任何一种的危险时，它可以将表示识别出的危险的细节(例如危险的类型、危险物体或危险区域的标识符或名称等)和真实空间中的对应位置或区域的信息输出到报警单元180。
外部装置的示例
通过从外部装置向信息处理装置100提供关于危险的信息，可以增强信息处理装置100的识别危险的能力。图8至10示出了这样的外部装置的示例。
参照图8，在楼梯12上放置了无线电传送器20a。楼梯12是很可能对用户Ua造成危险的真实物体或区域。无线电传送器20a可以周期性地传送信标，以便向附近的装置通知危险。信标可以包含楼梯12的标识符和位置数据。当通信单元108接收到信标时，信息处理装置100的信息获取单元160获取信标中包含的信息作为外部信息，并且将获取的信息输出到危险识别单元170。危险识别单元170由此可以识别楼梯12的存在及其位置。
参照图9，用户Ub可以携带信息处理装置20b。信息处理装置20b是具有与信息处理装置100等效的危险报警功能的装置。用户Ub正在用户Ua所处的方向上奔跑。信息处理装置20b可以识别用户Ub的行进速度超过了预定阈值并且传送信标，用于向附近的装置通知危险。信标例如可以包含信息处理装置20b的标识符、位置数据和速度数据。当通信单元108接收到信标时，信息处理装置100的信息获取单元160获取信标中包含的信息作为外部信息，并且将获取的信息输出到危险识别单元170。危险识别单元170由此可以识别存在用户Ua可能与用户Ub相撞的可能性。
参照图10，示出了数据服务器20c，其可以有能力与信息处理装置100进行通信。数据服务器20c是与位置数据相关联地存储识别很可能对用户造成危险的真实物体或区域的数据(例如真实物体或区域的标识符)的服务器。数据服务器20c中存储的数据例如对应于上述的危险物体信息和危险区域信息。信息处理装置100的信息获取单元160从数据服务器20c中下载危险物体信息和危险区域信息(图10中的下载数据22)。危险识别单元170由此可以使用下载的危险物体信息和危险区域信息来识别危险。
报警单元
例如在AR应用正在被提供给用户的时间期间，当危险识别单元170识别出危险时，报警单元180可以警告用户存在危险。例如，通过控制AR应用的显示可以进行由报警单元180进行的报警。更加具体地，在这个实施例中，当危险识别单元170识别出危险时，报警单元180中断进入AR应用。然后，报警单元180控制AR应用的显示。对AR应用的显示的控制可以是简单地暂停或终止AR应用。此外，报警单元180可以减弱AR应用中正在显示的虚拟对象的显示。作为示例，报警单元180使显示的虚拟对象闪烁或半透明。此外，报警单元180可以在其中提供AR应用的显示单元114的屏幕上显示用于报警的对象。用于报警的对象可以是例如向用户指示危险识别单元170识别的危险的位置或区域的对象。
可替选地或者此外，可以通过除了对AR应用的显示进行控制之外的手段来进行由报警单元180进行的报警。例如，报警单元180可以通过从语音输出单元116中输出报警声音或报警消息来警告用户存在危险。此外，报警单元180可以通过使振动单元118振动来警告用户存在危险。
报警单元180可以是独立地并入到信息处理装置100中的功能，而非取决于AR应用。可替选地，任何安装到信息处理装置100中的AR应用都可以具有如报警单元180那样的功能。
图11至14示出了这个实施例中的报警单元180进行的警告存在危险的示例。
(1)第一示例
图11左侧的图像Im11是可以由AR应用显示的输出图像的示例。在图像Im11中，虚拟对象T1被显示为叠加到真实空间中的建筑物上。虚拟对象T1是例如表示关于建筑物中餐馆等级的信息的对象。
图11右侧的图像Im12是在显示图像Im11之后作为用户Ua已接近楼梯12的结果、当报警单元180进行报警时的输出图像的示例。在图像Im12中，虚拟对象T1被显示成半透明。很可能造成危险的真实物体或区域由此不被虚拟对象T1隐藏。此外，向用户指示楼梯的位置(区域)的对象A1和指示消息以警告用户的对象A2被显示。用户由此可以迅速并准确地识别出他/她面临的危险。
(2)第二示例
图12左侧的图像Im21是可以由AR应用显示的输出图像的示例。同样在图像Im21中，虚拟对象T1被显示为叠加到真实空间中的建筑物上。此外，很可能成为对用户Ua的障碍的障碍物10出现在图像Im21中。
图12右侧的图像Im22是在显示图像Im21之后作为用户Ua已接近障碍物10的结果、当报警单元180进行报警时的输出图像的示例。在图像Im22中，从屏幕中删除虚拟对象T1。此外，向用户指示障碍物10的位置并进一步指示消息以警告用户的对象A3被显示。尽管障碍物10偏离了屏幕的视角，但是因为传感器单元104的测距传感器测量了与障碍物10的距离或者地图存储单元152存储了障碍物10的位置，所以危险识别单元170仍可以识别出由障碍物10对用户Ua造成的危险。
(3)第三示例
图13左侧的图像Im31是可以由AR应用显示的输出图像的示例。同样在图像Im31中，虚拟对象T1被显示为叠加到真实空间中的建筑物上。
图13右侧的图像Im32是在显示图像Im31之后作为用户Ua已开始奔跑的结果、当报警单元180进行报警时的输出图像的示例。在图像Im32中，从屏幕中删除虚拟对象T1，并且AR应用终止。以这种方式，报警单元180可以通过简单地暂停或终止AR应用来警告用户。
(4)第四示例
图14左侧的图像Im41是可以由AR应用显示的输出图像的示例。同样在图像Im41中，虚拟对象T1被显示为叠加到真实空间中的建筑物上。此外，沟14存在于用户Ua的前面。沟14也可以被识别为危险物体或危险区域。
图14右侧的图像Im42是在显示图像Im41之后作为用户Ua已接近沟14的结果、当报警单元180进行报警时的输出图像的示例。同样在图像Im42中，虚拟对象T1被显示为半透明。此外，报警单元180使振动单元118振动并且从语音输出单元116中输出报警消息。以这种方式，不仅通过视觉，而且还通过听觉或触觉进行报警，可以更加强烈地警告用户。
设定单元
设定单元190可以管理与危险识别单元170进行的危险识别处理和报警单元180进行的报警处理有关的设定。例如，设定单元190管理当危险识别单元170识别出危险时应当通过何种方式进行报警。设定单元170可以进行设定，从而报警单元180针对每个类型的识别出的危险以不同的方式进行报警。此外，设定单元190可以提示用户通过输入单元112指定报警的方式。
此外，设定单元190例如可以保持针对同一危险警告用户的次数的上限。报警单元180对关于每个危险物体和危险区域的标识符或位置进行报警的次数进行计数。然后，对于向用户已经进行了次数等于上限的报警的危险，报警单元180可以制止向用户警告该危险的存在。此外，设定单元190例如记录用户的行为历史。用户的行为历史例如可以是由定位单元106测量的用户的移动的历史。然后，当用户正在执行与用户的行为历史中包含的行为相类似的行为时，报警单元180可以制止向用户警告存在危险。通过以这种方式禁用报警，可以防止针对用户已经识别的危险进行过度的报警。
此外，设定单元190可以提示用户通过输入单元112预先指定对其应当禁用报警的危险物体或危险区域的标识符或位置。在这种情况下，对于用户明确指定的危险物体或危险区域，禁用通过报警单元180进行的报警。
3.根据实施例的处理的流程
根据本公开的另一实施例，提供了一种方法，包括：针对用户显示叠加到真实空间表示上的虚拟图像；识别用户所关心的潜在源，所关心的潜在源位于真实空间表示中的用户关注区域外部；以及向用户通知所关心的潜在源。
参照图15至19，针对示例性的五个场景中的每一个，在下文中描述根据这个实施例的信息处理装置100进行的处理的流程的示例。注意，信息处理装置100可以仅执行五个场景中的一个处理，或者执行多个处理。此外，信息处理装置100可以执行具有与作为示例在下面描述的处理不同的流程的处理。
3-1.第一场景
图15是示出第一场景中的危险报警处理的流程示例的流程图。在第一场景中，执行基于对输入图像的图像识别的结果的危险识别。
参照图15，首先通过图像识别单元140获取输入图像(步骤S110)。接下来，图像识别单元140识别出现在获取的输入图像中的真实物体(步骤S112)。然后，估计单元150估计图像识别单元140识别的每个真实物体的位置和用户位置(步骤S114)。然后，估计单元150基于估计的每个真实物体的位置和用户位置来计算每个真实物体和用户之间的距离，并且进一步计算用户针对每个真实物体的接近速度(步骤S116)。
然后，通过将估计单元150估计并计算的每个真实物体和用户之间的距离以及用户分别针对每个真实物体的接近速度与预定阈值相比较，危险识别单元170可以确定是否存在危险(步骤S160)。例如，当用户针对某个真实物体的接近速度超过预定阈值时，危险识别单元170可以确定存在用户可能与该真实物体相撞的可能性。此外，当某个危险物体和用户之间的距离落在预定阈值以下时，危险识别单元170可以确定用户正在接近该危险物体。
当危险识别单元170在步骤S160中确定存在危险时，报警单元180中断进入正在由应用单元130提供的AR应用(步骤S170)。然后，通过图11至14所示的方式或别的方式，报警单元180警告用户存在危险(步骤S180)。另一方面，当危险识别单元170在步骤S160中确定不存在危险时，处理返回到步骤S110。
3-2.第二场景
图16是示出第二场景中的危险报警处理的流程示例的流程图。在第二场景中，执行使用从数据服务器接收的关于危险的信息的危险识别。
参照图16，信息获取单元160首先通过通信单元108从外部装置中获取关于危险的信息(步骤S120)。在这个示例中，假定从图10所示的数据服务器20c中获取定义危险物体的危险物体信息和定义危险区域的危险区域信息。信息获取单元160将在步骤S120中获取的危险区域信息存储到存储单元110中(步骤S122)。然后，定位单元106测量用户位置(步骤S124)。在步骤S124中，代替通过定位单元106来测量用户位置，可以基于输入图像的图像识别的结果通过估计单元150来估计用户位置。
然后，基于危险区域信息和危险物体信息以及用户位置，危险识别单元170可以确定是否存在危险(步骤S162)。例如，当用户位置包括在危险区域信息所指示的危险区域的范围内时，或者当危险区域的边界和用户位置之间的距离落在预定阈值以下时，危险识别单元170可以确定用户已进入或正在接近危险区域。此外，当危险物体信息所指示的危险物体的位置和用户位置之间的距离落在预定阈值以下时，危险识别单元170可以确定在用户附近存在危险物体。
当危险识别单元170在步骤S162中确定存在危险时，报警单元180中断进入正在由应用单元130提供的AR应用(步骤S170)。然后，通过图11至14所示的方式或别的方式，报警单元180可以警告用户存在危险(步骤S180)。另一方面，当危险识别单元170在步骤S162中确定不存在危险时，处理返回到步骤S124。
3-3.第三场景
图17是示出第三场景中的危险报警处理的流程示例的流程图。在第三场景中，执行基于从不同于数据服务器的外部装置中接收的信息的危险识别。
参照图17，信息获取单元160首先通过通信单元108从外部装置中获取关于危险的信息(步骤S130)。在这个示例中，假定从图8所示的无线电传送器20a或者图9所示的信息处理装置20b接收通知危险的信标。当信息获取单元160接收到通知危险的信标时，危险识别单元170识别出危险(步骤S164)。危险识别单元170可以在接收到信标时立刻识别出危险，或者基于信标中包含的位置数据和用户位置来确定是否存在危险。
当危险识别单元170在步骤S164中识别出危险时，报警单元180中断进入正在由应用单元130提供的AR应用(步骤S170)。然后，通过图11至14所示的方式或别的方式，报警单元180可以警告用户存在危险(步骤S180)。
3-4.第四场景
图18是示出第四场景中的危险报警处理的流程示例的流程图。在第四场景中，执行使用基于输入图像的图像识别的结果创建的地图的危险识别。
参照图18，首先通过图像识别单元140获取输入图像(步骤S140)。接下来，图像识别单元140识别出现在获取的输入图像中的真实物体(步骤S142)。然后，估计单元150估计图像识别单元140识别的每个真实物体的位置和用户位置(步骤S144)。然后，估计单元150将估计的每个真实物体的位置和用户位置存储到地图存储单元152中(步骤S146)。在这之后，估计单元150计算地图存储单元152中存储的每个真实物体的位置和最新用户位置之间的距离，并且进一步计算用户针对每个真实物体的接近速度(步骤S148)。
然后，通过将估计单元150估计并计算的每个真实物体和用户之间的距离以及用户分别针对每个真实物体的接近速度与预定阈值相比较，危险识别单元170确定是否存在危险(步骤S166)。当危险识别单元170确定存在危险时，报警单元180中断进入正在由应用单元130提供的AR应用(步骤S170)。然后，例如通过图11至14所示的方式或别的方式，报警单元180可以警告用户存在危险(步骤S180)。另一方面，当危险识别单元170在步骤S166中确定不存在危险时，处理返回到步骤S140。
3-5.第五场景
图19是示出第五场景中的危险报警处理的流程示例的流程图。在第五场景中，执行使用从应用单元130获取的信息的危险识别。
参照图19，危险识别单元170首先从应用单元130中获取指示虚拟对象的显示容量的信息(步骤S150)。然后，通过将虚拟对象的显示容量除以输入图像的尺寸(或屏幕尺寸)，危险识别单元170计算对象占用率(步骤S152)。
然后，通过将对象占用率与预定阈值相比较，危险识别单元170可以确定是否存在危险(步骤S168)。当危险识别单元170确定存在危险时，报警单元180中断进入正在由应用单元130提供的AR应用(步骤S170)。然后，通过图11至14所示的方式或别的方式，报警单元180可以警告用户存在危险(步骤S180)。另一方面，当危险识别单元170在步骤S168中确定不存在危险时，处理返回到步骤S150。
4.总结
上文参照图1至19详细地描述了本公开的各种实施例。在AR应用正在被提供给用户的时间期间，当在真实空间中识别出用户面临的危险时，根据这些实施例的信息处理装置100警告用户存在危险。这减少了用户在真实世界中面临危险的风险。结果，用户可以以较少的担心使用AR应用。
此外，根据实施例，可以通过控制AR应用的显示来进行对用户的报警。AR应用的用户由此可以迅速识别出危险而不会错过报警。
此外，根据实施例，可以通过中断进入AR应用来进行报警。因此，不管安装到信息处理装置100中的AR应用的类型如何，都可以在AR应用正在被提供的时间期间警告用户存在危险。此外，上述的报警功能可以被实施为不依赖于任何AR应用的独立的功能。在这种情况下，可以不需要针对每个AR应用都采取措施来减少危险的风险，从而可以增强AR应用的开发的灵活性。
此外，根据实施例，基于用于提供AR应用的输入图像的图像识别的结果，可以识别用户面临的危险。具体地，基于图像识别的结果来估计参数，诸如真实空间中的真实物体和用户之间的距离、用户针对每个真实物体的接近速度或者用户的行进速度。然后，可以使用估计的参数来识别危险。在这种情况下，通过以低成本扩展能够提供AR应用的装置，可以容易地实现上述的危险报警处理。
此外，根据实施例，很可能在真实空间中与用户相撞的障碍的存在可以被识别为危险。这减少了在用户的注意力被吸引到AR应用的同时用户与障碍相撞的风险。
此外，根据实施例，用户接近或进入危险区域或者接近危险物体也可以被识别为危险。这减少了在用户的注意力被吸引到AR应用的同时用户接近或进入危险区域或者用户接近危险物体的风险。
此外，根据实施例，可以从外部装置提供关于危险的信息。当从数据服务器提供定义危险区域或危险物体的信息时，与其中信息处理装置100自己识别危险的情况相比，增强了信息处理装置100的危险识别能力。此外，当具有与信息处理装置100等效的危险报警功能的别的用户的装置提供关于危险的信息时，可以通过装置之间的协作以更高的可靠性来识别危险。此外，当发出关于危险的信息的装置被放置在很可能造成危险的真实物体或区域中时，可以在具有高度危险的地方以更高的可靠性来识别危险。
此外，根据实施例，能够沿着与成像装置的光轴不同的方向测量与真实空间中的真实物体的距离的测距传感器被用于识别危险。这使得能够识别仅通过图像识别不能识别的危险。
此外，根据实施例，基于屏幕上显示的虚拟对象的比例来确定用户的注意力是否被阻止。这减少了由于屏幕上显示的过多的虚拟对象而造成的用户迟于注意到存在于真实世界中的危险的风险。
此外，根据实施例，基于报警的次数、用户的行为历史或用户进行的明确设定，禁用对于用户而言不必要的报警。这防止了用户对AR应用的使用被用户不想要的报警所阻止。
此外，根据实施例，当识别出危险时可以暂停或终止AR应用。在这种情况下，用户的注意力可以更加可靠地被吸引到识别出的危险。此外，正在通过AR应用显示的虚拟对象可以闪烁或半透明。因此，出现在输入图像中的危险的存在不会被虚拟对象完全隐藏。
此外，根据实施例，当识别出危险时可以在屏幕上显示用于报警的对象。用于报警的对象可以向用户警告识别出的危险的位置或区域。用户由此可以迅速识别危险的原因。
尽管上文参照附图描述了本公开的优选实施例，但是本公开不限于此。本领域技术人员应当理解，根据设计要求和其他因素，可以进行各种修改、组合、子组合和变更，只要它们在所附权利要求或其等同物的范围内。
例如，本技术可以采用以下配置。
(1)一种能够向用户提供显示叠加到真实空间上的虚拟对象的增强现实应用的信息处理装置，包括：
危险识别单元，其识别所述用户在所述真实空间中面临的危险；以及
报警单元，其在所述增强现实应用正在被提供给所述用户的时间期间，当所述危险识别单元识别出危险时，向所述用户报警存在危险。
(2)根据(1)所述的信息处理装置，其中，
通过控制所述增强现实应用的显示，所述报警单元向所述用户报警存在危险。
(3)根据(1)或(2)所述的信息处理装置，其中，
通过中断进入所述增强现实应用，所述报警单元向所述用户报警存在危险。
(4)根据(1)至(3)中任一项所述的信息处理装置，其中，
当所述危险识别单元识别出危险时，所述报警单元暂停或终止正在被提供给所述用户的所述增强现实应用。
(5)根据(1)至(4)中任一项所述的信息处理装置，其中，
当所述危险识别单元识别出危险时，所述报警单元使正在被提供给所述用户的所述增强现实应用中显示的虚拟对象闪烁或半透明。
(6)根据(1)至(5)中任一项所述的信息处理装置，其中，
当所述危险识别单元识别出危险时，所述报警单元在其上正在提供所述增强现实应用的屏幕上显示用于报警的对象。
(7)根据(1)至(6)中任一项所述的信息处理装置，其中，
所述用于报警的对象指示与所述危险识别单元识别的危险的原因相对应的位置或区域。
(8)根据(1)至(7)中任一项所述的信息处理装置，其中，
所述危险识别单元将很可能在所述真实空间中与所述用户相撞的真实物体的存在识别为危险。
(9)根据(1)至(8)中任一项所述的信息处理装置，进一步包括：
信息获取单元，其获取定义在所述真实空间中具有相对低的安全水平的危险区域的危险区域信息，其中，
所述危险识别单元将所述用户接近或进入由所述危险区域信息定义的所述危险区域识别为危险。
(10)根据(1)至(9)中任一项所述的信息处理装置，进一步包括：
信息获取单元，其获取定义在所述真实空间中很可能对所述用户造成危险的危险物体的危险物体信息，其中，
所述危险识别单元将所述用户接近由所述危险物体信息定义的所述危险物体识别为危险。
(11)根据(1)至(10)中任一项所述的信息处理装置，其中，
当所显示的虚拟对象在屏幕上的比例超过预定阈值时，所述危险识别单元识别出危险。
(12)根据(1)至(11)中任一项所述的信息处理装置，其中，
对于向所述用户已经进行了次数等于预定上限的报警的危险，所述报警单元不向所述用户警告所述危险的存在。
(13)根据(1)至(12)中任一项所述的信息处理装置，其中，
当所述用户正在执行与所述用户的行为历史中包含的行为相类似的行为时，所述报警单元不向所述用户警告危险的存在。
(14)根据(1)至(13)中任一项所述的信息处理装置，进一步包括：
设定单元，对于所述用户预先指定的危险，所述设定单元禁用通过所述报警单元进行的报警。
(15)根据(1)至(14)中任一项所述的信息处理装置，进一步包括：
测距传感器，其测量所述真实空间中的真实物体和所述用户之间的距离，其中，
基于由所述测距传感器测量的与每个真实物体的距离，所述危险识别单元识别所述用户面临的危险。
(16)根据(15)所述的信息处理装置，其中，
所述测距传感器被安装成能够沿着与用于提供所述增强现实应用的成像装置的光轴不同的方向来测量距离。
(17)根据(1)至(15)中任一项所述的信息处理装置，进一步包括：
通信单元，其从外部装置接收关于危险的信息，其中，
所述危险识别单元使用由所述通信单元接收的关于危险的信息来识别所述用户面临的危险。
(18)根据(17)所述的信息处理装置，其中，
所述外部装置是放置在很可能对所述用户造成危险的真实物体上或区域中的装置。
(19)根据(17)所述的信息处理装置，其中，
所述外部装置是具有与所述信息处理装置等效的危险报警功能的别的用户的装置。
(20)根据(17)所述的信息处理装置，其中，
关于危险的信息是识别很可能对所述用户造成危险的真实物体或区域的位置或范围的信息，并且
所述危险识别单元基于关于危险的信息和所述用户的位置来识别所述用户面临的危险。
(21)一种能够向用户提供显示叠加到真实空间上的虚拟对象的增强现实应用的信息处理装置中的报警方法，包括：
在所述增强现实应用正在被提供给所述用户的时间期间，识别所述用户在所述真实空间中面临的危险；以及
当识别出危险时，向所述用户报警存在危险。
(22)一种使计算机用作如下单元的程序，所述计算机控制能够向用户提供显示叠加到真实空间上的虚拟对象的增强现实应用的信息处理装置，所述单元为：
危险识别单元，其识别所述用户在所述真实空间中面临的危险；以及
报警单元，其在所述增强现实应用正在被提供给所述用户的时间期间，当所述危险识别单元识别出危险时，向所述用户报警存在危险。
根据上述描述可知，本公开的技术方案包括但不限于下列：
方案1.一种设备，包括：
存储器，其存储指令；以及
控制单元，其执行所述指令以：
发送信号，以针对用户显示叠加到真实空间表示上的第一虚拟图像；
发送信号，以识别所述用户所关心的潜在源，所述所关心的潜在源位于所述真实空间表示中的用户关注区域外部；以及
发送信号，以向所述用户通知所述所关心的潜在源。
方案2.根据方案1所述的设备，其中，识别所关心的潜在源包括分析用于创建所述真实空间表示的输入信号。
方案3.根据方案1所述的设备，其中，所述所关心的潜在源包括关于所述用户的危险的潜在源。
方案4.根据方案1所述的设备，其中，所述所关心的潜在源至少部分地被所述第一虚拟图像遮蔽。
方案5.根据方案1所述的设备，其中，发送信号以通知所述用户进一步包括发送信号以变更所述第一虚拟图像。
方案6.根据方案1所述的设备，其中，发送信号以通知所述用户进一步包括发送信号以生成听觉警报、触觉警报或视觉警报中的至少一个。
方案7.根据方案1所述的设备，其中，所述视觉报警包括第二虚拟图像。
方案8.根据方案1所述的设备，其中，所述控制单元执行所述指令以：
发送信号以监视用户行为；以及
部分地基于监视的用户行为来识别所述所关心的潜在源。
方案9.根据方案8所述的设备，其中，所述控制单元执行所述指令以基于监视的用户行为来确定所述用户是否知道所述所关心的潜在源。
方案10.根据方案8所述的设备，其中，监视的用户行为包括一系列行为。
方案11.根据方案10所述的设备，其中，所述控制单元执行所述指令以通过将所述一系列行为中的行为数目与用户行为数目阈值比较来确定所述用户是否知道所述所关心的潜在源。
方案12.根据方案10所述的设备，其中，所述控制单元执行所述指令以确定所述一系列行为是否指示所述用户已避免所述所关心的潜在源或者已接近所述所关心的潜在源两者至少之一。
方案13.根据方案8所述的设备，其中，所述控制单元执行所述指令以至少部分地基于监视的用户行为来确定所述用户是否关心所述所关心的潜在源。
方案14.根据方案13所述的设备，其中，监视的用户行为是对所述所关心的潜在源所属类型的所关心的潜在源的反应。
方案15.根据方案1所述的设备，其中，执行所述指令以识别所述所关心的潜在源进一步包括执行所述真实空间表示的分析，接收指示所述设备和所述所关心的潜在源之间的距离的信号，或者接收来自外部装置的信号中的至少之一。
方案16.根据方案15所述的设备，其中，执行分析包括针对所述所关心的潜在源搜索所述真实空间表示。
方案17.根据方案1所述的设备，其中，所述设备是用户装置并且所述控制单元执行所述指令以向远程服务器发送信号以识别所关心的潜在源。
方案18.根据方案1所述的设备，其中，所述设备是服务器并且所述控制单元执行所述指令以发送信号以识别所关心的潜在源，其包括向用户装置发送信号以识别所关心的潜在源。
附图标记列表
1 真实空间
10 障碍物(危险物体的示例)
12 楼梯(危险物体的示例)
20a-c 外部装置
100 信息处理装置
102 成像单元
104 传感器单元
106 定位单元
108 通信单元
110 存储单元
150 估计单元
160 信息获取单元
170 危险识别单元
180 报警单元
190 设定单元

Claims (21)

1.一种信息处理设备，包括：
成像单元，其配置成对真实空间进行成像以生成所述真实空间的表示；
识别单元，其被配置成针对用户显示叠加到真实空间表示上的第一虚拟图像，以及识别所述用户所关心的潜在源，其中所关心的潜在源是在所述成像单元的视角之外的真实物体或真实区域或者所关心的潜在源至少部分地被所述第一虚拟图像遮蔽；以及
通知单元，其被配置成向所述用户通知所述所关心的潜在源。
2.根据权利要求1所述的信息处理设备，其中，所述识别单元被配置成通过分析用于创建所述真实空间表示的输入信号来识别所关心的潜在源。
3.根据权利要求1所述的信息处理设备，其中，所述所关心的潜在源包括关于所述用户的危险的潜在源。
4.根据权利要求1所述的信息处理设备，其中，所述通知单元还被配置成变更所述第一虚拟图像。
5.根据权利要求1所述的信息处理设备，其中，所述通知单元被配置成通过生成听觉警报、触觉警报或视觉警报中的至少一个来向所述用户通知所述关心的潜在源。
6.根据权利要求5所述的信息处理设备，其中，所述视觉警报包括第二虚拟图像。
7.根据权利要求1所述的信息处理设备，还包括监视单元，其被配置成监视用户行为，其中，所述识别单元被配置成部分地基于由所述监视单元所监视的用户行为来识别所述所关心的潜在源。
8.根据权利要求7所述的信息处理设备，还包括确定单元，其被配置成基于由所述监视单元所监视的用户行为来确定所述用户是否知道所述所关心的潜在源。
9.根据权利要求7所述的信息处理设备，其中，监视的用户行为包括一系列行为。
10.根据权利要求9所述的信息处理设备，其中，所述识别单元被配 置成通过将所述一系列行为中的行为数目与用户行为数目阈值比较来确定所述用户是否知道所述所关心的潜在源。
11.根据权利要求9所述的信息处理设备，其中，所述识别单元被配置成确定所述一系列行为是否指示所述用户已避免所述所关心的潜在源或者已接近所述所关心的潜在源两者至少之一。
12.根据权利要求7所述的信息处理设备，其中，所述识别单元被配置成至少部分地基于监视的用户行为来确定所述用户是否关心所述所关心的潜在源。
13.根据权利要求12所述的信息处理设备，其中，监视的用户行为是对所述所关心的潜在源所属类型的所关心的潜在源的反应。
14.根据权利要求1所述的信息处理设备，其中，所述识别单元被配置成执行如下操作中的至少之一以识别所述所关心的潜在源：执行所述真实空间表示的分析，接收指示所述设备和所述所关心的潜在源之间的距离的信号，或者接收来自外部装置的信号。
15.根据权利要求14所述的信息处理设备，其中，执行分析包括针对所述所关心的潜在源搜索所述真实空间表示。
16.根据权利要求1所述的信息处理设备，其中，所述信息处理设备是用户装置，并且所述用户装置被配置成向远程服务器发送信号以识别所关心的潜在源。
17.根据权利要求1所述的信息处理设备，其中，所述信息处理设备是服务器，并且所述服务器被配置成识别所关心的潜在源，其包括向用户装置发送信号以识别所关心的潜在源。
18.一种信息处理装置，包括根据权利要求1至17中任一项所述的信息处理设备，以便识别所关心的潜在源。
19.根据权利要求18所述的信息处理装置，其中，所述信息处理设备是用户装置，并且所述用户装置被配置成向远程服务器发送信号以识别所关心的潜在源。
20.根据权利要求18所述的信息处理装置，其中，所述信息处理设备是服务器，并且所述服务器被配置成向用户装置发送信号以识别所关心的潜在源。
21.一种信息处理方法，包括：
通过成像单元对真实空间进行成像，以生成所述真实空间的表示；
针对用户显示叠加到真实空间表示上的虚拟图像；
识别所述用户所关心的潜在源，所关心的潜在源是在所述成像单元的视角之外的真实物体或真实区域或者所关心的潜在源至少部分地被所述虚拟图像遮蔽；以及
向所述用户通知所述所关心的潜在源。
CN201210018916.0A 2011-01-28 2012-01-20 信息处理装置、报警方法和程序 Active CN102682571B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011016440A JP5691568B2 (ja) 2011-01-28 2011-01-28 情報処理装置、報知方法及びプログラム
JP2011-016440 2011-01-28

Publications (2)

Publication Number Publication Date
CN102682571A CN102682571A (zh) 2012-09-19
CN102682571B true CN102682571B (zh) 2016-12-14

Family

ID=46580333

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210018916.0A Active CN102682571B (zh) 2011-01-28 2012-01-20 信息处理装置、报警方法和程序

Country Status (9)

Country Link
US (1) US10909759B2 (zh)
EP (1) EP2668553B1 (zh)
JP (1) JP5691568B2 (zh)
KR (1) KR20140014117A (zh)
CN (1) CN102682571B (zh)
BR (1) BR112013018603A2 (zh)
RU (1) RU2013133883A (zh)
TW (1) TW201246008A (zh)
WO (1) WO2012101720A1 (zh)

Families Citing this family (100)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101765214B1 (ko) 2011-07-01 2017-08-04 엠파이어 테크놀로지 디벨롭먼트 엘엘씨 제스처 기반 게임을 위한 안전 설계
JP5823042B2 (ja) 2011-08-31 2015-11-25 エンパイア テクノロジー ディベロップメント エルエルシー ジェスチャ方式のゲームシステムの位置設定
KR101567591B1 (ko) 2011-12-02 2015-11-20 엠파이어 테크놀로지 디벨롭먼트 엘엘씨 제스처 기반 게임 시스템을 위한 안전 체계
CN104094195B (zh) * 2012-02-24 2017-05-03 英派尔科技开发有限公司 用于基于姿势的游戏系统的安全方案
KR101899977B1 (ko) * 2012-07-10 2018-09-19 엘지전자 주식회사 이동 단말기 및 그것의 제어 방법
JP5659195B2 (ja) * 2012-07-17 2015-01-28 株式会社東芝 画像提示装置及び方法
US8953841B1 (en) * 2012-09-07 2015-02-10 Amazon Technologies, Inc. User transportable device with hazard monitoring
KR101989893B1 (ko) * 2012-10-29 2019-09-30 엘지전자 주식회사 헤드 마운트 디스플레이 및 이를 이용한 오디오 신호 출력 방법
WO2014098033A1 (ja) * 2012-12-17 2014-06-26 Iwata Haruyuki 携帯型移動支援装置
EP2936443A1 (en) * 2012-12-21 2015-10-28 Metaio GmbH Method for representing virtual information in a real environment
CN103116451B (zh) * 2013-01-25 2018-10-26 腾讯科技（深圳）有限公司 一种智能终端的虚拟角色交互方法、装置和系统
US9878235B2 (en) * 2013-06-07 2018-01-30 Sony Interactive Entertainment Inc. Transitioning gameplay on a head-mounted display
JP6160290B2 (ja) * 2013-06-21 2017-07-12 富士通株式会社 情報処理装置、判定方法および判定プログラム
US9630105B2 (en) * 2013-09-30 2017-04-25 Sony Interactive Entertainment Inc. Camera based safety mechanisms for users of head mounted displays
US9729864B2 (en) 2013-09-30 2017-08-08 Sony Interactive Entertainment Inc. Camera based safety mechanisms for users of head mounted displays
US20150123992A1 (en) * 2013-11-04 2015-05-07 Qualcomm Incorporated Method and apparatus for heads-down display
JP2015118442A (ja) * 2013-12-17 2015-06-25 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
JP6120444B2 (ja) * 2013-12-25 2017-04-26 Kddi株式会社 ウェアラブルデバイス
JP2015134079A (ja) * 2014-01-17 2015-07-27 株式会社ユニバーサルエンターテインメント ゲーミングマシン
US9654675B2 (en) * 2014-03-25 2017-05-16 Kessler Optics & Photonics Solutions Ltd. Optical attachment for deviating field of view
JP6376807B2 (ja) * 2014-04-02 2018-08-22 キヤノン株式会社 表示装置、表示制御方法及びプログラム
US10600245B1 (en) 2014-05-28 2020-03-24 Lucasfilm Entertainment Company Ltd. Navigating a virtual environment of a media content item
JP2016004493A (ja) * 2014-06-18 2016-01-12 キヤノン株式会社 画像処理装置およびその制御方法
JP5777786B1 (ja) 2014-09-12 2015-09-09 キヤノン株式会社 情報処理装置、情報処理方法、プログラム
KR102276847B1 (ko) * 2014-09-23 2021-07-14 삼성전자주식회사 가상 오브젝트 제공 방법 및 그 전자 장치
CN104333654B (zh) * 2014-10-14 2018-01-23 京东方科技集团股份有限公司 危险提醒方法及装置以及便携式电子设备
US9582976B2 (en) * 2014-10-16 2017-02-28 Elwha Llc Systems and methods for detecting and reporting hazards on a pathway
US9311802B1 (en) * 2014-10-16 2016-04-12 Elwha Llc Systems and methods for avoiding collisions with mobile hazards
EP3215917B1 (en) 2014-11-05 2023-10-11 Valve Corporation Sensory feedback systems and methods for guiding users in virtual reality environments
US9881422B2 (en) * 2014-12-04 2018-01-30 Htc Corporation Virtual reality system and method for controlling operation modes of virtual reality system
JP6424601B2 (ja) * 2014-12-10 2018-11-21 富士通株式会社 表示制御方法、情報処理プログラム、及び情報処理装置
JP6609920B2 (ja) * 2014-12-25 2019-11-27 セイコーエプソン株式会社 表示装置、及び、表示装置の制御方法
JP6528409B2 (ja) * 2015-01-13 2019-06-12 日本電気株式会社 対象表示システム、管理装置、対象表示方法及び管理プログラム
JP2017091433A (ja) * 2015-11-17 2017-05-25 セイコーエプソン株式会社 頭部装着型表示装置、頭部装着型表示装置を制御する方法、コンピュータープログラム
JP6600945B2 (ja) * 2015-01-20 2019-11-06 セイコーエプソン株式会社 頭部装着型表示装置、頭部装着型表示装置の制御方法、および、コンピュータープログラム
US9760790B2 (en) * 2015-05-12 2017-09-12 Microsoft Technology Licensing, Llc Context-aware display of objects in mixed environments
JP6436872B2 (ja) * 2015-07-09 2018-12-12 キヤノン株式会社 情報処理装置、情報処理方法、プログラム
CN105139576A (zh) * 2015-07-09 2015-12-09 小米科技有限责任公司 路况提示方法及装置
US10416306B2 (en) * 2015-08-17 2019-09-17 Texas Instruments Incorporated Methods and apparatus to measure and analyze vibration signatures
JP2017060033A (ja) * 2015-09-17 2017-03-23 カシオ計算機株式会社 携帯情報機器、携帯情報システム、表示方法及びプログラム
JP2017062598A (ja) 2015-09-24 2017-03-30 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
JP2017068589A (ja) * 2015-09-30 2017-04-06 ソニー株式会社 情報処理装置、情報端末、及び、情報処理方法
US9836652B2 (en) 2016-02-02 2017-12-05 International Business Machines Corporation Showing danger areas associated with objects using augmented-reality display techniques
JP6232649B2 (ja) * 2016-02-18 2017-11-22 国立大学法人名古屋大学 仮想空間表示システム
US9939635B2 (en) 2016-02-29 2018-04-10 Brillio LLC Method for providing notification in virtual reality device
JP2017183828A (ja) * 2016-03-28 2017-10-05 京セラ株式会社 ヘッドマウントディスプレイ
US10200581B2 (en) * 2016-03-31 2019-02-05 Peter G. Hartwell Heads down intelligent display and processing
GB201608886D0 (en) 2016-05-20 2016-07-06 Nokia Technologies Oy Virtual reality display
CN106125927B (zh) * 2016-06-23 2019-11-29 捷开通讯(深圳)有限公司 图像处理系统及方法
US20170372499A1 (en) * 2016-06-27 2017-12-28 Google Inc. Generating visual cues related to virtual objects in an augmented and/or virtual reality environment
JP2018005676A (ja) * 2016-07-05 2018-01-11 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
JP6696331B2 (ja) * 2016-07-06 2020-05-20 富士ゼロックス株式会社 情報処理装置、画像形成システムおよびプログラム
DE102016217263A1 (de) 2016-09-09 2018-03-15 Continental Teves Ag & Co. Ohg Verfahren zum Warnen einer Person vor einer Gefahrenquelle
CN106652332A (zh) * 2016-12-15 2017-05-10 英业达科技有限公司 虚拟实景装置的安防系统
JP6642457B2 (ja) * 2017-01-11 2020-02-05 京セラドキュメントソリューションズ株式会社 携帯端末装置、及び安全管理システム
US11488369B2 (en) 2017-02-07 2022-11-01 Teledyne Flir Detection, Inc. Systems and methods for identifying threats and locations, systems and method for augmenting real-time displays demonstrating the threat location, and systems and methods for responding to threats
US10311304B2 (en) 2017-02-07 2019-06-04 International Business Machines Corporation Mobile device accident avoidance system
GB2573912B (en) * 2017-02-07 2022-12-28 Flir Detection Inc Systems and methods for identifying threats and locations, systems and method for augmenting real-time displays demonstrating the threat location, and systems
US10169973B2 (en) 2017-03-08 2019-01-01 International Business Machines Corporation Discontinuing display of virtual content and providing alerts based on hazardous physical obstructions
WO2018173399A1 (ja) * 2017-03-21 2018-09-27 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
US10360437B2 (en) * 2017-03-22 2019-07-23 T-Mobile Usa, Inc. Collision avoidance system for augmented reality environments
US10726792B2 (en) * 2017-04-17 2020-07-28 Intel Corporation Glare and occluded view compensation for automotive and other applications
JP6893122B2 (ja) * 2017-05-29 2021-06-23 エヌ・ティ・ティ・コミュニケーションズ株式会社 危険判定システム、危険判定方法及びコンピュータプログラム
CN108700912B (zh) * 2017-06-30 2022-04-01 广东虚拟现实科技有限公司 通过增强现实操作设备的方法和系统
US10691945B2 (en) * 2017-07-14 2020-06-23 International Business Machines Corporation Altering virtual content based on the presence of hazardous physical obstructions
US20190094955A1 (en) * 2017-09-27 2019-03-28 Apple Inc. Range finding and accessory tracking for head-mounted display systems
EP3483104B1 (en) 2017-11-10 2021-09-01 Otis Elevator Company Systems and methods for providing information regarding elevator systems
CN109905262A (zh) * 2017-12-11 2019-06-18 上海逸云信息科技发展有限公司 一种cdn设备服务的监控系统及监控方法
US10726765B2 (en) 2018-02-15 2020-07-28 Valve Corporation Using tracking of display device to control image display
JP2019146022A (ja) * 2018-02-21 2019-08-29 オリンパス株式会社 撮像装置及び撮像方法
US11032403B2 (en) * 2018-03-22 2021-06-08 Daniel L C Leung Method to aid the walking-while-texting smart phone user navigate around obstacles in the forward path
JP2019166992A (ja) * 2018-03-23 2019-10-03 パナソニックＩｐマネジメント株式会社 車両制御装置およびコンピュータプログラム
CN110322669B (zh) * 2018-03-31 2022-01-04 汉唐传媒股份有限公司 一种基于现实投影游戏场的预警方法
US20190042843A1 (en) * 2018-04-05 2019-02-07 Intel Corporation Cable detection for ar/vr computing method and apparatus
KR20210005858A (ko) 2018-04-25 2021-01-15 소니 주식회사 정보 처리 장치, 정보 처리 방법, 정보 처리 프로그램
US20190385372A1 (en) * 2018-06-15 2019-12-19 Microsoft Technology Licensing, Llc Positioning a virtual reality passthrough region at a known distance
EP3750141A4 (en) 2018-06-20 2021-09-15 Hewlett-Packard Development Company, L.P. WARNINGS FROM DEVICES OF MIXED REALITY
WO2019245543A1 (en) * 2018-06-20 2019-12-26 Hewlett-Packard Development Company, L.P. Alerts of mixed reality devices
DE102018213368A1 (de) * 2018-08-09 2020-02-13 Audi Ag System, Verfahren und Absicherungsvorrichtung für einen kraftfahrzeuglosen Verkehrsteilnehmer sowie Servervorrichtung für das System
CN110097736B (zh) * 2019-04-23 2021-11-30 维沃移动通信有限公司 报警方法及报警装置
US10832484B1 (en) * 2019-05-09 2020-11-10 International Business Machines Corporation Virtual reality risk detection
US11468604B2 (en) * 2019-06-25 2022-10-11 Google Llc Methods and systems for providing a notification in association with an augmented-reality view
KR102614495B1 (ko) * 2019-08-02 2023-12-15 엘지전자 주식회사 Xr 디바이스 및 그 제어 방법
US11991263B2 (en) * 2019-09-17 2024-05-21 Hewlett-Packard Development Company, L.P. Notification delivery in a virtual space based on a user being in a flow state
CN110641607B (zh) * 2019-10-08 2021-04-02 深圳市乐骑智能科技有限公司 基于位置检测数据的滑板车行驶辅助系统及电动滑板车
US20200045240A1 (en) * 2019-10-12 2020-02-06 Adam Diamond Hood with Multiple Cameras
CN110718043B (zh) * 2019-10-17 2021-07-30 辽宁中航信诺科技有限公司 基于ar人工智能设备的危险区域的检查报警方法
WO2021124299A1 (en) * 2019-12-21 2021-06-24 Elon Littwitz Walking assisting systems and methods
CN111564027B (zh) * 2020-05-08 2022-05-13 北京深演智能科技股份有限公司 报警信息处理方法及装置
US11561611B2 (en) 2020-10-29 2023-01-24 Micron Technology, Inc. Displaying augmented reality responsive to an input
TWI758970B (zh) * 2020-11-24 2022-03-21 鴻海精密工業股份有限公司 可移動障礙物位置判斷方法、裝置、電子設備及系統
US20220188545A1 (en) * 2020-12-10 2022-06-16 International Business Machines Corporation Augmented reality enhanced situational awareness
US11393315B1 (en) * 2020-12-31 2022-07-19 Micron Technology, Inc. Hazard indicator
US11872486B2 (en) 2021-05-27 2024-01-16 International Business Machines Corporation Applying augmented reality-based gamification to hazard avoidance
US11663790B2 (en) * 2021-08-18 2023-05-30 Optum, Inc. Dynamic triggering of augmented reality assistance mode functionalities
US20230138204A1 (en) * 2021-11-02 2023-05-04 International Business Machines Corporation Augmented reality object interaction and notification
US11983922B2 (en) * 2022-01-27 2024-05-14 Rovi Guides, Inc. Smart home management system for generating augmented reality scene of potentially hazardous condition
US11995739B2 (en) * 2022-02-09 2024-05-28 At&T Intellectual Property I, L.P. System for contextual diminished reality for meta verse immersions
US11747891B1 (en) * 2022-07-15 2023-09-05 Google Llc Content output management in a head mounted wearable device
WO2024043527A1 (ko) * 2022-08-25 2024-02-29 삼성전자 주식회사 가상 현실 장치를 제어하는 방법 및 이를 이용하는 가상 현실 장치

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3515926B2 (ja) * 1999-06-23 2004-04-05 本田技研工業株式会社 車両の周辺監視装置
US20020196202A1 (en) * 2000-08-09 2002-12-26 Bastian Mark Stanley Method for displaying emergency first responder command, control, and safety information using augmented reality
US20030210228A1 (en) * 2000-02-25 2003-11-13 Ebersole John Franklin Augmented reality situational awareness system and method
US20030218638A1 (en) * 2002-02-06 2003-11-27 Stuart Goose Mobile multimodal user interface combining 3D graphics, location-sensitive speech interaction and tracking technologies
JP4039075B2 (ja) * 2002-02-18 2008-01-30 日本電気株式会社 前方障害物検出機能付き携帯情報端末
JP2003284120A (ja) * 2002-03-20 2003-10-03 Fuji Photo Film Co Ltd 携帯通信端末用警告装置
US7762665B2 (en) * 2003-03-21 2010-07-27 Queen's University At Kingston Method and apparatus for communication between humans and devices
US7142231B2 (en) * 2003-12-29 2006-11-28 Nokia Corporation Method and apparatus for improved handset multi-tasking, including pattern recognition and augmentation of camera images
JP2006174288A (ja) * 2004-12-17 2006-06-29 Sharp Corp 携帯端末装置、衝突防止方法、衝突防止プログラムおよび記録媒体
US7283064B2 (en) * 2005-04-12 2007-10-16 Honeywell International, Inc. System and method for facilitating target aiming and aircraft control using aircraft displays
JP4642538B2 (ja) * 2005-04-20 2011-03-02 キヤノン株式会社 画像処理方法および画像処理装置
US7737965B2 (en) * 2005-06-09 2010-06-15 Honeywell International Inc. Handheld synthetic vision device
DE602006012510D1 (de) * 2006-11-21 2010-04-08 Harman Becker Automotive Sys Darstellung von Videobildern einer Fahrzeugumgebung
JP2008199286A (ja) * 2007-02-13 2008-08-28 Nec Corp 携帯端末
JP2008230296A (ja) * 2007-03-16 2008-10-02 Mazda Motor Corp 車両用運転支援システム
DE102007033391A1 (de) * 2007-07-18 2009-01-22 Robert Bosch Gmbh Informationsvorrichtung, Verfahren zur Information und/oder Navigation von einer Person sowie Computerprogramm
JP2009206868A (ja) * 2008-02-28 2009-09-10 Kyocera Corp 携帯通信端末、着信報知方法
US8605947B2 (en) * 2008-04-24 2013-12-10 GM Global Technology Operations LLC Method for detecting a clear path of travel for a vehicle enhanced by object detection
DE102008002322A1 (de) * 2008-06-10 2009-12-17 Robert Bosch Gmbh Tragbare Vorrichtung mit Warnsystem und Verfahren
DE102008002560A1 (de) * 2008-06-20 2009-12-24 Robert Bosch Gmbh Bilddatenvisualisierung
US20100238161A1 (en) * 2009-03-19 2010-09-23 Kenneth Varga Computer-aided system for 360º heads up display of safety/mission critical data
US8164543B2 (en) * 2009-05-18 2012-04-24 GM Global Technology Operations LLC Night vision on full windshield head-up display
CN201689517U (zh) * 2010-05-10 2010-12-29 佛山市神信锦盟科技有限公司 一种放射源智能监控装置及系统

Also Published As

Publication number Publication date
CN102682571A (zh) 2012-09-19
US10909759B2 (en) 2021-02-02
TW201246008A (en) 2012-11-16
JP2012155654A (ja) 2012-08-16
US20130293586A1 (en) 2013-11-07
EP2668553A4 (en) 2014-08-20
RU2013133883A (ru) 2015-01-27
WO2012101720A1 (en) 2012-08-02
BR112013018603A2 (pt) 2019-09-24
JP5691568B2 (ja) 2015-04-01
EP2668553A1 (en) 2013-12-04
EP2668553B1 (en) 2017-10-11
KR20140014117A (ko) 2014-02-05

Similar Documents

Publication Publication Date Title
CN102682571B (zh) 信息处理装置、报警方法和程序
US10509477B2 (en) Data services based on gesture and location information of device
CN102622850A (zh) 信息处理装置、报警方法和程序
US8897498B2 (en) Mobile imaging device as navigator
US20200082561A1 (en) Mapping objects detected in images to geographic positions
US9420559B2 (en) Obstacle detection and warning system using a mobile device
US8700302B2 (en) Mobile computing devices, architecture and user interfaces based on dynamic direction information
JP6208654B2 (ja) 関心地点情報をプッシュするための方法及びシステム
CN103814397A (zh) 用于增强实境环境的基于移动设备的内容映射
CN106297184A (zh) 监控移动终端周围环境的方法、装置及移动终端
Kamalam et al. Augmented Reality‐Centered Position Navigation for Wearable Devices with Machine Learning Techniques
CN114879879B (zh) 一种显示健康码的方法、电子设备及存储介质
KR20140115271A (ko) 지리학적 영역의 엑스포지션 레이팅을 획득하기 위한 정보 시스템
JP7164149B2 (ja) シミュレータ、サーバ、評価システム、評価プログラム、及び評価方法
Chamikara et al. An Efficient Algorithm To Detect The Nearest Location Of A Map For A Given Theme
Rousell et al. The Role of Contextual Info‐Marks in Navigating a Virtual Rural Environment

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant