CN110914698A - 用于将信息定位在图像中位置的设备 - Google Patents
用于将信息定位在图像中位置的设备 Download PDFInfo
- Publication number
- CN110914698A CN110914698A CN201880048492.8A CN201880048492A CN110914698A CN 110914698 A CN110914698 A CN 110914698A CN 201880048492 A CN201880048492 A CN 201880048492A CN 110914698 A CN110914698 A CN 110914698A
- Authority
- CN
- China
- Prior art keywords
- image
- information
- location
- code
- light source
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 claims abstract description 57
- 238000012545 processing Methods 0.000 claims abstract description 40
- 238000009877 rendering Methods 0.000 claims abstract description 40
- 238000005286 illumination Methods 0.000 claims abstract description 34
- 230000008569 process Effects 0.000 claims abstract description 22
- 238000004891 communication Methods 0.000 claims description 21
- 238000004590 computer program Methods 0.000 claims description 14
- 230000001419 dependent effect Effects 0.000 claims description 5
- 230000003190 augmentative effect Effects 0.000 description 62
- 238000001454 recorded image Methods 0.000 description 15
- 230000000007 visual effect Effects 0.000 description 9
- 230000000694 effects Effects 0.000 description 8
- 239000004984 smart glass Substances 0.000 description 7
- 230000008901 benefit Effects 0.000 description 6
- 230000015654 memory Effects 0.000 description 6
- 238000012986 modification Methods 0.000 description 6
- 230000004048 modification Effects 0.000 description 6
- 231100001261 hazardous Toxicity 0.000 description 5
- 238000013507 mapping Methods 0.000 description 5
- 239000004065 semiconductor Substances 0.000 description 3
- 229920001621 AMOLED Polymers 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000003936 working memory Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 239000000919 ceramic Substances 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 229910052736 halogen Inorganic materials 0.000 description 1
- 150000002367 halogens Chemical class 0.000 description 1
- 238000002329 infrared spectrum Methods 0.000 description 1
- 230000001795 light effect Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000003973 paint Substances 0.000 description 1
- 230000037081 physical activity Effects 0.000 description 1
- 229920000642 polymer Polymers 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 210000001525 retina Anatomy 0.000 description 1
- 238000013515 script Methods 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 239000012780 transparent material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/34—Route searching; Route guidance
- G01C21/36—Input/output arrangements for on-board computers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/587—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using geographical or spatial information, e.g. location
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04B—TRANSMISSION
- H04B10/00—Transmission systems employing electromagnetic waves other than radio-waves, e.g. infrared, visible or ultraviolet light, or employing corpuscular radiation, e.g. quantum communication
- H04B10/11—Arrangements specific to free-space transmission, i.e. transmission through air or vacuum
- H04B10/114—Indoor or close-range type systems
- H04B10/116—Visible light communication
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/02—Services making use of location information
- H04W4/029—Location-based management or tracking services
Abstract
本发明的一个目的是提供一种用于将信息定位在图像中的位置的改进的设备。因此,本发明提供了一种用于将信息(18)定位在图像(13)中的位置(17)处的设备(100),该设备(100)包括:用于记录图像(13)的检测器(10),图像(13)包括光源(14),其中光源(14)的照明特性(15)包括指示信息(18)和在图像(13)中信息(18)要被定位的位置(17)的代码(16);处理器(11),被布置用于处理图像(13)以获取代码(16),获取由代码(16)指示的信息(18),获取由代码(16)指示的位置(17),通过将信息(18)定位在图像(13)中的位置(17)将图像(13)处理成经处理的图像(19);图像呈现设备(12),用于呈现经处理的图像(19)。
Description
技术领域
本发明涉及一种用于将信息定位在图像中的位置的设备。本发明还涉及一种将信息定位在图像中的位置的方法;一种包括所述设备和光源的系统;一种计算机程序产品;以及一种用于将信息定位在图像中的位置的光源,该图像由设备记录、处理和显示。
背景技术
由于最近的技术进步,提供增强现实的设备变得更加为大众所用。增强现实设备(诸如例如合格的智能电话、相机、平视显示器、智能眼镜等)在不久的将来甚至会变得更加普遍。
增强现实应用的一个目标是在物理视野上覆盖信息。随着增强现实应用的增多,增强视野中可能会产生更多的视觉混乱。所述视觉混乱是不期望的,因为它可能是不利的。例如,视觉混乱可能限制获得信息的功能概览;视觉混乱可能限制用增强现实视野辅助的活动期间的物理安全;视觉混乱可能降低视觉人体工程学;视觉混乱可能不期望地阻挡增强现实视野中真实世界的必要部分;等等。
视野管理可以通过管理增强现实视野中提供的信息来解决所述缺点。例如,US2011/0161875A1提供了一种解决方案,其中公开了一种用于规整映射显示的方法。也就是说,公开了一种系统,其具有以下能力:在混乱的映射显示(例如,具有多个邻近兴趣点(POI)的增强现实显示)上选择一个或多个兴趣点(POI),捕获映射显示的图像,以及然后将所选择的POI作为列表或其他格式覆盖,来清楚地呈现每个POI。利用这种方法,在US2011/0161875A1中公开的所述系统可以清楚地呈现和规整在特定映射显示中可见或存在的POI中的一个或多个POI。类似地,在US2016/042563A1和US2015/242804A1中发现了另一种增强现实信息管理。
尽管在US2011/0161875A1中公开的发明提供了一种用于规整增强现实视野中存在的信息的方法,其中用户必须主动选择要呈现的映射信息,但是所述方法在自动化、效率和应用方面(例如为了提高物理活动和/或导航期间的安全性)仍然受限。
因此,随着增强现实的应用变得更加广泛,显然存在更有效和高效地规整增强现实视野的需要。
发明内容
本发明的一个目的是提供一种用于将信息定位在图像中的位置的改进的设备,其至少缓解了上面提及的缺点之一。至此,本发明提供了一种用于将信息定位在图像中的位置的设备,该设备包括:用于记录图像的检测器,该图像包括光源,其中光源的照明特性包括指示信息和在图像中信息要被定位的位置的代码;处理器,被布置用于处理图像以获取代码,获取由代码指示的信息,获取由代码指示的位置,通过将信息定位在图像中的位置来将图像处理成经处理的图像;图像呈现设备,用于呈现经处理的图像。
这种设备通过发明概念将信息定位在图像中的位置,因为记录的光源的照明特性包括指示信息和指示在图像中信息要被定位的位置的代码。通过处理图像来获取所述代码。因此,可以获取均由代码指示的信息和位置,使得可以通过将信息定位在图像中的位置来将图像处理成经处理的图像。图像呈现设备可以后续呈现经处理的图像。
因此,仅通过利用检测器记录图像,设备被光源的照明特性促使来将指示的信息定位在图像中的指示的位置。因此,光源可以管理设备的视野。该设备可以是增强现实设备的一部分,使得光源可以在增强现实设备的视野中促使信息的规整;或者可以促使仍然要在增强现实设备的视野中呈现的信息的布局。因此,本发明在自动化视野管理中提供了一种有利的强大、直接且创造性的概念。
为清楚起见,非限制性示例可以例如是:根据本发明的设备的检测器可以在危险和拥挤的交叉路口记录包括光源的图像。光源的照明特性(例如基于可见光通信(VLC)的调制光)可以包括指示信息和在图像中信息要被定位的位置的代码。这里,例如,安全考虑可以作为具体确定所述代码的基础,以指示将导航信息定位在(记录的)图像的左上角,其中图像可以是增强现实视野的一部分,例如具有呈现的增强视野的平视显示器。作为结果,通过本发明,在危险和拥挤的交叉路口的光源可以管理根据本发明的设备的视野,该设备记录光源的图像,例如来用于增强现实视野(在导航穿过交叉路口期间)。因此,例如,记录的光源确定在增强现实设备的增强现实视野中的在哪个位置定位了什么信息。
如前面提及以及如下面将进一步阐明的(例如,在示例中),根据本发明的设备的优点在于,提供了一种改进的设备,其用于将信息定位在图像中的位置;因为包括在记录的图像中的光源可以确定在经处理的图像中(因此,例如在增强现实视野中)的哪里定位什么信息。因此,所述经处理的图像和/或所述增强现实视野可以有利地由光源管理,以规整和/或布局信息。另一个优点在于,根据本发明的光源可以广泛且战略性地定位在城市或建筑基础设施中。因此,城市基础设施中的各种光源(例如街道照明或立面照明)的具体分布可以有利地用于管理例如增强现实设备的视野。因此,照明基础设施的广泛性质可以有利地用于提高安全性,并为根据本发明的设备(诸如增强现实设备)提供人体工程学。
另一个优点在于,可以由光源促使专用位置来定位信息,这防止例如增强现实信息阻挡图像或视野的其他部分,并且这也可以帮助有经验的用户更容易地找到信息,正因如此这些用户可能已经知道这种信息将由每个光源定位在哪里。
因此,提供了一种自动的、更有效的且更高效的设备,来用于将信息定位在图像中的位置,从而用于管理视野(例如增强现实视野)。
所述设备可以是例如增强现实设备、虚拟现实设备、平视显示器、投影仪设备、智能电话、智能眼镜、交互式目镜、导航设备或平板电脑的一部分。所述设备还可以包括多个单独的组件,这些组件组合或连接形成单个设备;例如,每个组件包括收发器以在彼此之间通信,例如,检测器、处理器和/或图像呈现设备通过无线连接(诸如Wi-Fi、蓝牙、ZigBee或RF)进行通信。
相应的图像呈现设备可以是显示器。显示器可以是LED显示器,或者LCD、CRT、OLED、AMOLED、超AMOLED或视网膜。此外,显示器可以是触摸屏、3D屏幕或全息显示器。此外所述图像呈现设备可以是投影设备,其中投影可以提供在例如显示器、屏幕、窗口、玻璃、诸如聚合物或陶瓷的透明材料、透镜或眼睛上。此外所述图像呈现设备可以是平视显示器;适于呈现图像(诸如激光投影)的车窗;或者智能眼镜的镜片。
检测器可以是光电检测器,诸如优选地被布置用于记录图像的相机,或者被布置用于基于接收的光来记录和/或重建图像的光二极管。
由检测器记录的图像可以是照片、一组照片或视频。图像可以包括一种格式。图像可以包括定义图像的轮廓和/或尺寸的边缘。所述边缘和/或轮廓可以充当框架,例如作为用于在图像中定位信息的参考框架,或者作为其中可以处理图像的框架。图像可以被进一步处理成透明图像。
处理器可以包括用于存储信息、位置、代码、图像或图像处理的本地存储器。处理器可以包括解码包括在光源的照明特性中的代码的计算能力,其中光源包括在图像中。此外处理器可以包括将记录的图像处理成不同类型的图像(诸如照片、多个照片、视频或图像中观察到的特征的其他映射,诸如热量映射或频率映射)的计算能力。此外处理器可以包括执行图像处理和/或图像编辑的计算能力。
如上所述,处理器被布置成通过将信息定位在图像中的位置来将图像处理成经处理的图像。所述经处理的图像可以例如是信息在其上被定位在位置的记录的图像,或者所述经处理的图像可以例如是与记录的图像相关联的信息在其上被定位在位置的新图像。前者可以例如涉及智能电话显示器,其中真实的图像被记录,并且记录的图像与根据本发明被定位在位置的信息一起被显示,从而产生经处理的图像。后者可以例如涉及平视显示设备,其中真实的图像被记录,并且记录的图像例如仅用于确定信息要被定位的位置,并且后续用于将信息定位在新图像中,从而产生包括该信息但不包括原始记录的图像的经处理图像。这种经处理的图像专用于投影设备;并且在该示例中可以由平视显示设备投影。因此,在这种情况下,处理器可以被布置用于通过将信息定位在图像中的位置和/或与图像相关联的位置来将图像处理成经处理的图像。因此,本发明有利地适用于从物理显示设备到投影设备的所有设备。
如上面提及的,提供了一种用于将信息定位在图像中的位置的设备。记录的光源的照明特性包括指示信息和指示在图像中信息要被定位的位置的代码。
所述光源在操作中可以发射光,因此发射照明特性。所述光源可以是半导体照明设备,诸如LED、OLED、LED条、TLED、像素化LED点。半导体照明设备可以有利地小型化、实现、耐用,并且可以有利地能够诸如借助于VLC提供代码。在一些示例中,光源可以是常规的白炽光源,诸如灯泡、荧光光源或卤素点。光源还可以包括光学器件,诸如光导、透镜、反射器或滤光器,或者(可调节的)盖。光源也可以是或包括荧光材料,诸如荧光涂料,例如应用于交通中。
所述照明特性可以来自颜色、强度、色温和调制的组。照明特性也可以由发射的光的间接效果引起,诸如由光源的占用区域引起的阴影、图案或视觉边界。
在示例中,包括所述光源的所述图像可以指这样的图像,其中光的物理源不可见,但是产生的光可见(即,例如光效果、光占用区域、照明特性),使得可以接收代码。例如,当解码图像中记录的墙壁上的洗墙光时,可能不存在洗墙灯。因此,在示例中,包括所述光源的所述图像可以是包括光源的所述发射的(或产生的)光的所述图像。
包括在光源的照明特性中的代码可以指借助于诸如红外或射频的不可见光通信的代码,或者指可见光通信(VLC)。可见光通信是借助于嵌入在可见光中的信号的数据通信。更具体地说,可以根据任何合适的调制技术,通过调制可见光的性质(通常是强度)来嵌入数据。基于调制,可以使用光电检测器来检测“编码光”中的信息。此外,包括在发射的光内的代码可以进一步涉及颜色编码方案。
进一步地,代码指示信息和在图像中信息要被定位的位置。代码可以例如包括标识符。所述标识符可以例如指示位置和信息两者。例如,在危险且拥挤的交叉路口识别特定光源(如前面的示例中给出的)可以指示位置和信息,即标识符可以用于进一步的处理步骤以导出位置和信息。这种代码在计算上可能是高效的,因为该代码可能仅限于指示信息和位置的标识符,而位置和信息可以通过后端系统获取。
此外,代码可以例如明确包括在图像中信息要被定位的位置,其中代码可以包括指示位置的代码的编码中的字符串,诸如例如以坐标定义的字符串。位置例如可以是图像的可缩放框架内的相对定位,例如图像的方形框架的左上角、纵横比为4∶3的图像的矩形框架的顶部5%、纵横比为16∶9的图像的矩形框架的右半部分、图像的方形框架中的定位X;Y(其中左下角是原点)等等。因此,代码可以定义位置。在示例中,位置可以在上述代码中明确定义。
此外,代码可以例如明确包括信息,其中代码包括指示信息的代码的编码中的字符串,诸如例如定义信息的类型或信息的组的所述字符串。因此,信息可以是指示信息的类型或信息的组的标签。例如,指示信息为“导航信息”的字符串。可替代地,在一些示例中,在计算能力可用的情况下,代码不仅可以提供如本发明中定义的信息,还可以提供信息的内容。例如,指示信息为“导航信息”的字符串还可以提供诸如相对于设备的导航方向的内容。因此,在示例中,代码可以定义信息。在示例中,该信息可以在上述代码中明确定义。
通过处理图像来获取代码。如由代码指示的位置可以通过处理器获取。
首先:例如,从包括列表的数据库中获取位置可能是有利的,该列表指示对应于代码的位置。例如,代码可以包括光源的标识符,该标识符可以用于从所述数据库中获取相应的位置。因此,在一实施例中,处理器被布置用于通过访问包括列表的数据库来获取由代码指示的位置,该列表指示对应于代码的位置;以及从数据库中的列表中获取对应于代码的位置。这样的实施例有利于减少处理图像以获取代码的计算量,因为代码可以较短。发射代码的光源也可以要求较少的处理量。这种数据库的另一个优点是,指示对应于代码的位置的列表可以更有效和统一地更新。也就是说,可以提供输入作为改变指示对应于代码的位置的列表中的条目的偏好。
所述数据库可以包括在外部服务器中。例如,数据库可以由与一组光源(诸如城市照明、街道照明、邻里照明或建筑照明)相关的服务器托管。所述数据库可以包括在灯杆或光源对象中。所述数据库还可以托管在另一个设备中,诸如智能电话、平板电脑、智能可穿戴设备或计算机。所述数据库还可以是托管社交媒体的服务器的一部分。所述外部服务器还可以包括输入装置,用于改变指示对应于代码的位置的列表中的条目。所述外部服务器可以在单个更新会话期间被更新,使得代码对应于更新的期望位置。
例如,这样的数据库可以从外部位置(例如云)下载到设备上,或者可以由用于创建所述列表的用户条目填充。该设备因此可以包括用于提供所述用户条目的用户输入装置。这是有利的,因为使用根据本发明的设备的用户可以实现其自己关于在图像中定位信息的位置的偏好;因此实现其自己关于设备的视野管理的偏好,该设备可以是增强现实设备。
该设备可以包括与所述数据库通信的收发器。所述通信可以借助于Wi-Fi、蓝牙、ZigBee、RF、GSM或VLC来无线执行。
所述数据库还可以包括在根据本发明的设备的存储器中,其中处理器可以访问存储器以获取指示对应于代码的位置的列表。所述存储器可以是集成的以及处理器的一部分,诸如本地工作存储器。因此,在一实施例中,提供了根据本发明的设备,其中该设备包括数据库。这样的实施例是有利的,因为设备可以通过访问数据库和获取对应于代码的位置来自主获取位置。在这种情况下,代码可以较短,因为代码不必明确包括位置,这在计算上是有利的。
第二:如前面部分提及的,如由代码指示的位置可以由处理器获取。在一些示例中,位置可以有利地由代码本身提供;这借助于包括在光源的照明特性中的代码为光源提供了对设备的更多控制。因此,在一实施例中,处理器被布置用于通过处理代码来获取由代码指示的位置;其中位置包括在代码中。因此,代码可以直接(明确)指示、定义或确定在图像中信息要被定位的位置。代码可以是数据信号,其中所述位置用有关检测器、图像或设备的参数的相对或一般坐标来编码。例如,在非限制性的情况下,代码可以包括由“记录的图像尺寸的上20%”相对地指示的位置的一般命令。可以提供其他示例。
如前面提及的,提供了一种用于将信息定位在图像中的位置的设备。记录的光源的照明特性包括指示信息和指示在图像中信息要被定位的位置的代码。通过处理图像来获取所述代码。如由代码指示的信息可以由处理器获取。
如前面部分提及的,指示信息的代码意味着该代码包括指示信息的数据字符串(在代码的编码中)。指示信息包括指示信息的类型,或者指示特定类型的信息。作为结果,设备可以将特定类型的信息定位在图像中的位置。例如在增强现实视野中,为了确保例如安全性和/或人体工程学,根据本发明的设备可以有利地适用于将特定类型的信息定位在图像中的位置。因此,在一实施例中,该信息包括导航信息、旅游信息、广告信息、通信信息和设备信息中的至少一个。进一步地,信息的内容可以通过处理器获取,例如通过设备生成、托管、应用、创建或接收。
因此,如部分提及的,代码可以包括指令,该指令为将哪种类型的信息定位在图像中的什么位置。在示例中,指令不包括所述类型的信息,而是从另一个来源获得的。
因此,如部分提及的,信息可以是包括分类符的信息,该分类符指示信息的类型,诸如例如导航信息或广告信息。作为结果,在图像中信息要被定位的位置意味着在图像中包括所述分类符的信息要被定位的位置;其中所述分类符也由所述光源的代码指示。
导航信息可以包括定位、导航和/或基于位置的服务所要求的信息。提供根据本发明的设备是有利的,其中信息是导航信息,因为例如在增强现实视野中,经处理的图像中的导航信息的混乱可能影响安全性。因此,出于安全考虑,本发明提供了一种用于在图像中将导航信息定位在位置的改进的设备。
更进一步地,由于光源借助于本发明促使呈现经处理的图像,从而光源管理导航信息视野,因此使用本发明将导航信息定位在图像中的位置是有利的,因为在导航期间光源通常广泛存在于检测器的记录的图像中(例如街道照明)。因此,例如,管理根据本发明的设备(诸如增强现实设备)的视野的照明基础设施可以广泛应用。
旅游信息可以包括:(i)城市信息,诸如例如观光建议、评级、市政新闻更新、城市机构的机构消息、酒店数据、地址、城市中的管道和/或缆线布局、城市事件信息、旅游统计、会议点信息、游客的数字便签、餐馆信息等;(ii)天气信息,诸如天气预报、天空的雷达视野、本地热力性质的展示、基于天气的服装建议等;(iii)住房信息,诸如旅馆入住情况、居民概况、财产价值等;(iv)观光信息,诸如历史信息、开放时间、照片、电影等;(v)付款,诸如入场费付款、停车罚单付款等。由于旅游信息可能被广泛提供,因此增强现实视野可能很容易混乱。因此,根据本发明的设备提供了用于将旅游信息定位在图像中的位置的发明概念,使得例如增强现实视野可以基于包括在光源的照明特性中的所述代码而被有效地管理,所述代码可以有关旅游活动而广泛可用。
广告信息可以包括:数字广告牌、商店信息、广告照片或视频、折扣信息、促销信息、优惠券、购物列表、货币交易等。由于预计零售商可能会为增强现实设备加载过多的信息,因此这也符合可能会使增强现实设备的视野混乱的预期。因此,如前面提及的,根据本发明的设备可以为所述信息过载提供解决方案,因为根据本发明的设备可以基于包括在光源的照明特性中的代码将信息定位在图像中的位置。更具体地,例如:根据本发明的设备的检测器可以记录包括在城市的拥挤的购物街道处的多个光源的图像。图像可以包括广告信息的内容。这可能是与购物街道上的许多商店相关的许多弹出式广告内容。由于拥挤的购物街道,广告信息的所述内容(弹出窗口)可能会使图像中的视野混乱。多个光源中的每一个光源的照明特性(例如基于可见光通信(VLC)的调制光)可以包括指示信息和在图像中信息要被定位的位置的代码。这里,例如,对视野进行功能性规整的基础可以在于,具体确定所述代码以指示仅在记录的图像的底部5%定位广告信息,其中图像可以是增强现实视野的一部分。作为结果,通过本发明,购物街道中的多个光源中的每一个光源都可以有效地管理根据本发明的设备的视野,使得包括广告信息的内容的所述图像不会被其混乱。所述多个光源可以是例如街道照明或商店窗口照明。
通信信息可以包括:电话簿;呼叫信息,诸如电话呼叫或视频呼叫;短信信息;呈现通信应用特征;邮件信息或通知消息。
设备信息可以包括:设备状态信息、功耗信息、传感器信息、外部设备耦合信息或应用菜单。更具体地,例如:根据本发明的设备可以是观看观光对象的增强现实设备的一部分。增强现实视野可以包括指示设备的功耗的设备信息、一些菜单图标和其他传感器读取信息。这样的设备信息可以在视野中。尽管不会使视野混乱,但是可能不期望呈现所述设备信息,因为可能期望具有观光对象的清晰视野。因此,观光对象可以包括光源,该光源包括照明特性,该照明特性包括指示信息和在图像中信息要被定位的位置的代码。这里,信息是设备信息,位置可以是图像的左下角,例如仅仅是总屏幕表面的3%。
如前面提及的,提供了一种用于将信息定位在图像中的位置的设备,其中图像包括光源,其中光源的照明特性包括指示信息和在图像中信息要被定位的位置的代码。在一实施例中,位置被定义为相对于光源在图像中的定位的定位。这样的实施例是有利的,因为光源可以是用于定义在图像中信息要被定位的位置的合适的锚点。因此,相对于光源在图像中的定位的定位可以是距图像中光源的距离偏移。进一步地,当通过处理图像获取代码时,可能已经处理了图像中光源的定位,因此将位置定义为相对于光源在图像中的定位的定位在计算上是高效的。
更进一步地,在一实施例中,位置被定义为图像中与光源在图像中的定位一致的定位。这样的实施例是有利的,因为根据光源在真实环境中的放置的性质,光源在图像中的定位可以是锚定具体(类型)的信息或使其与之一致的合适定位。例如,在真实环境中,标志柱和/或灯杆被用来呈现各种类型的信息,诸如地址信息和方向信息。因此,当规整视野(该视野例如由本发明中的图像建立)时,将例如地址信息或方向信息定位在图像中的与光源在图像中的定位一致的定位可能是有利的。这可以为设备的用户提供人体工程学,并改进设备的使用。在这里,一致可以是重叠。
因此,在一实施例中,提供了根据本发明的相应示例的设备,其中将图像处理成经处理的图像包括将导航信息定位在图像中的位置,其中位置被定义为图像中与光源在图像中的定位一致的定位;并且其中光源是街道照明基础设施的一部分。在图像中将导航信息提供在与光源在图像中的定位一致的定位是有利的,因为由于光源是街道照明基础设施的一部分,从而导航信息位于图像中最符合人体工程学的定位。例如,当在高速公路上导航时,具体地将导航信息定位成与街道照明基础设施的光源(诸如标志杆光源)一致可能是有利的,因为用户导航(以及利用本发明的设备)可能根据现实世界中的经验而认为所述定位符合人体工程学(因为标志杆已经就位,但是现在充当为用户定位信息的有益锚)。
在一实施例中,位置被定义为相对于图像呈现设备的边缘的定位。这样的实施例是有利的,因为图像呈现设备可以包括各种形状,但是由于图像呈现设备的边缘被物理地确定为静止的,将位置与相对于图像呈现设备的边缘的定位相关联可以提供改进的人体工程学。
在一实施例中,处理器被布置成通过使图像完全透明来将图像处理成经处理的图像。因此,在经处理的图像被投影到平视显示器上的情况下,这样的实施例可能是有利的,其中检测到的图像的特征不要求显示在平视显示器上,因为平视显示器包括示出对应于检测到的图像的所述特征的真实特征的透视窗口。提供透明度(诸如使图像完全透明)可以改进根据本发明的设备和/或图像呈现设备的计算效率。
在一实施例中,光源可以是街道照明基础设施、立面照明、室内照明和娱乐照明中的至少一个的一部分。这种光源可以是广泛的,并且可以有利地与特定类型的信息相关联。例如,街道照明基础设施可以有利地在本发明中实现,来用于定位导航信息;类似地,立面照明用于广告信息、旅游信息或城市信息;类似地,室内照明用于旅游信息的娱乐照明;类似地,用于设备信息。
进一步地,在一实施例中,提供了根据本发明的设备,其中设备还被布置用于将另外信息定位在图像中的另外位置,其中代码指示该另外信息和在图像中定位该另外信息的网络位置;其中处理器被布置用于获取由代码指示的另外信息,获取由代码指示的另外位置,通过将另外信息定位在图像中的另外位置来将图像进一步处理成经处理的图像。在一实施例中,所述另外信息可以包括导航信息、旅游信息、广告信息、通信信息和设备信息中的至少一个。在一实施例中,信息是导航信息,并且另外信息是通信信息;或者信息是导航信息,并且另外信息是广告信息;或者信息是广告信息,并且另外信息是通信信息;或者信息是旅游信息,并且另外信息是设备信息。可替代地,可以基于设备存在于的环境的背景来设想具体的组合。
作为这样一实施例的结果,由图像呈现设备呈现的经处理的图像可以托管经处理的图像中的位置的信息和经处理的图像中的另外位置的另外信息。这是有利的,因为人体工程学指示两种类型的信息可以更好地关于彼此位于特定的布置中。例如,通知信息可能最好在视野的顶部被指示,而通信信息最好在视野的底部被指示。例如,导航信息和广告信息可能最适合于在视野的对立侧。
此外,在一实施例中,提供了根据本发明的设备,其中在图像中信息要被定位的位置还依赖于设备的物理参数;处理器还被布置用于获取设备的物理参数;以及通过将信息定位在经处理图像中的位置来将图像处理成经处理的图像,其中位置还依赖于物理参数。在一实施例中,物理参数是设备的位置、设备的速度和设备的取向中的一个。或者,设备的使用也可以是物理参数。又或者,所述物理参数可以是设备的电池电量,或者设备的应用模式,例如离散模式。所述实施例可以类似地应用于根据本发明的方法,其中该方法的步骤与所述实施例的特征相关联。
作为这种实施例的结果,提供了一种设备,其中代码指示依赖于物理参数的在图像中信息要被定位的位置。这使得能够向图像中的位置处的信息的定位添加附加的参数或维度。例如,处理器可以检测和获取设备的速度。代码可以指示当设备以高于阈值(例如1m/s)的速度移动时,广告信息可以位于图像的左上角,并且指示当设备以低于阈值(例如1m/s或0 m/s)的速度移动时,广告信息可以位于图像的中心。因此,当具有根据本发明的增强现实设备的用户正在利用增强现实视野走过拥挤的购物街道时,根据本发明的设备可以规整以匆忙为特征的用户(其中该设备包括高于阈值的速度)的视野,并将广告信息定位在以不匆忙为特征的用户(例如,站在商店前面不动)的更突出视野中。这里,代码仍然由光源的照明特性包括,该光源包括在检测/记录的图像中。可以为与车辆相关联的根据本发明的设备提供类似的示例,其中车辆的速度更高,因此提供更高的阈值,例如50 km/h,其中信息依赖于速度而定位于图像中的不同位置。还可以利用车辆的取向来提供类似的示例。例如,在一天中的日落时间向西行驶的汽车可以提供根据本发明的设备,其中信息可以依赖于向西取向而定位在图像中的位置A,而信息可以依赖于对立的向东取向而不同地定位在图像中的位置B。所述位置A可以例如有利地利用日落及其效果,而所述位置B可以利用该取向上没有日落。
此外,考虑本实施例,所述位置可以是多个位置,其中基于设备的物理参数选择最合适的位置,该位置是在图像中信息要被定位的位置。
本发明的另外目的是提供一种用于将信息定位在图像中的位置的改进的系统。至此,本发明还提供了用于将信息定位在图像中的位置的系统,该系统包括根据本发明的设备和光源。适用于根据本发明的设备的优点也适用于根据本发明的系统。
在一实施例中,光源可以是街道照明基础设施、立面照明、室内照明和娱乐照明中的至少一个的一部分。
本发明的另外目的是提供一种改进的光源,其用于将信息定位在图像中的位置。至此,本发明还提供一种光源,其用于将信息定位在图像中的位置,该图像由设备记录、处理和显示;该光源包括照明特性,该照明特性包括指示信息和在由所述设备记录、处理和显示的所述图像中信息要被定位的位置的代码。适用于根据本发明的设备的优点也适用于根据本发明的系统。所述设备可以是根据本发明(的第一方面)的设备。
在一实施例中,所述光源可以是街道照明基础设施、立面照明、室内照明和娱乐照明中的至少一个的一部分。
在一实施例中,所述光源可以包括多个照明单元。
本发明的另外目的是提供一种用于将信息定位在图像中位置的改进的方法。至此,本发明还提供了一种用于将信息定位在图像中的位置的方法,该方法包括:记录图像,该图像包括光源,其中光源的照明特性包括指示信息和在图像中信息要被定位的位置的代码;处理图像以获取代码;获取由代码指示的信息;获取由代码指示的位置;通过将信息定位在图像中的位置来将图像处理成经处理的图像;显示经处理的图像。适用于根据本发明的设备和根据本发明的系统的优点也可以适用于此处定义的根据本发明的方法。
该方法可以由根据本发明的用于将设备定位在图像中的位置的设备执行。
在一实施例中,通过以下方式来获取由代码指示的位置:访问包括列表的数据库,该列表指示对应于代码的位置;以及从数据库中的列表中获取对应于代码的位置。这样的实施例是有利的,因为设备可以通过访问数据库和获取对应于代码的位置来自主获取位置。
在一实施例中,通过以下方式来获取由代码指示的位置:处理代码;其中位置包括在代码中。因为位置可以由代码本身提供,所以在专用于该任务的处理器中不要求具体的处理步骤。进一步地,有利地借助于代码为光源提供对设备的更多的控制。
类似于前面提及的:在一实施例中,位置被定义为相对于光源在图像中的定位的定位。这样的实施例是有利的,因为光源可以是用于定义在图像中信息要被定位的位置的合适的锚点。因此,相对于光源在图像中的定位的定位可以是距图像中的光源的距离偏移。进一步地,当通过处理图像来获取代码时,可能已经处理了图像中光源的定位,因此将位置定义为相对于光源在图像中的定位的定位在计算上可以是高效的。
在一实施例中,将图像处理成经处理的图像包括将导航信息定位在图像中的位置,其中位置被定义为图像中与图像中的光源的照明特性一致的定位;并且其中光源是街道照明基础设施的一部分。在图像中与光源在图像中的定位一致的定位提供导航信息是有利的,因为,由于光源是街道照明基础设施的一部分,从而导航信息被定位在图像中最符合人体工程学的定位。
本发明还涉及一种计算机程序产品。因此,本发明提供了一种用于计算设备的计算机程序产品,该计算机程序产品包括计算机程序代码,当计算机程序产品在计算设备的处理单元上运行时,计算机程序代码执行根据本发明的方法中的任何一种的方法。例如,所述处理单元也可以是根据本发明的设备或设备中提供的单独处理器。借助于计算机程序产品执行上述方法可以仅包括可借助于计算机程序产品实现的方法的特征。
因此,本发明的各方面可以在计算机程序产品中实现,该计算机程序产品可以是可以由计算机执行的存储在计算机可读存储设备上的计算机程序指令的集合。本发明的指令可以是任何可解释或可执行的代码机制,包括但不限于脚本、可解释程序、动态链接库(DLL)或Java类。指令可以作为完全可执行程序、部分可执行程序、对现有程序的修改(例如更新)或现有程序的扩展(例如插件)来提供。此外,本发明的处理中的部分可以分布在多个计算机或处理器上。
在另外的方面,本发明可以是一种用于将信息定位在图像中的位置的设备,该设备包括:用于记录图像的检测器,该图像包括光源,其中光源的照明特性包括指示信息的类别和在图像中信息要被定位的位置的代码;处理器,被布置用于处理图像以获取代码,获取由信息的类别指示的信息,获取由代码指示的位置,并且通过将信息定位在图像中的位置来将图像处理成经处理的图像;以及用于呈现经处理的图像的图像呈现设备。
在另外的方面,本发明可以提供一种用于在将信息定位在图像中的位置的设备,该设备包括:用于记录图像的检测器,该图像包括光源,其中光源的照明特性包括指示分类符和在图像中信息要被定位的位置的代码;处理器,被布置用于处理图像以获取代码,获取由代码指示的分类符,获取由分类符指示的信息,获取由代码指示的位置,并且通过将获取到的信息(即由分类符指示的信息)定位在图像中的位置来将图像处理成经处理的图像;以及用于呈现经处理的图像的图像呈现设备。
在一实施例中,所述光源包含指示分类符和在图像中信息要被定位的位置的代码。因此,代码可以仅包括所述分类符和所述位置信息。
以上所述类别或所述分类符可以可替换地被表述为字符串、标记、标签、组标识符、选择、子组。
如上所指示的,本发明的第一目的的实施例可以在适当修改后应用于所述另外的方面。本发明的所述另外的方面可以类似地应用于根据本发明的方法中,其中方法的步骤与所述另外的方面的特征相关联。
在又一方面,本发明可以提供一种用于将信息定位在经处理的图像中的校正位置的设备,该设备包括:用于记录图像的检测器,该图像包括光源,其中光源的照明特性包括指示信息的类别和在经处理的图像中所述(特定)类别的信息要被定位的位置的代码;以及处理器,用于处理图像以获取代码,获取由代码指示的信息的类别,获取由代码指示的位置,获得所述(特定)类别的信息,通过将所述(特定)类别的信息定位在经处理的图像中来将图像处理成经处理的图像;以及用于呈现经处理的图像的图像呈现设备。
在其实施例中,提供所述设备,其中代码进一步指示在图像中信息要被定位的校正位置,其中在经处理的图像中信息要被定位的校正位置还依赖于设备的物理参数;处理器还被布置用于获取设备的物理参数;以及通过将所述(特定)类别的信息定位在经处理的图像中的校正位置来将图像处理成经处理的图像,其中位置还依赖于物理参数。
在一实施例中,物理参数是设备的位置、设备的速度和设备的取向中的一个。可替代地,设备的使用也可以是物理参数。又可替代地,所述物理参数可以是设备的电池电量,或者设备的应用模式,诸如离散模式。在又一方面中,本发明可以提供一种用于将信息定位在经处理的图像中的校正位置的设备,该设备包括:用于记录图像的检测器,该图像包括光源,其中光源的照明特性包括指示信息的分类符和在图像中信息要被定位的校正位置的代码;以及处理器,被布置用于处理图像以获取代码,获取由代码指示的分类符,获取由代码指示的校正位置,通过仅获取包括所述分类符的信息来获得信息,通过将信息定位在经处理的图像中的校正位置来将图像处理成经处理的图像;以及用于呈现经处理的图像的图像呈现设备。
同样,如上所指示的,本发明的第一目的的实施例可以在适当修改后应用于上述另外的方面。本发明的所述另外的方面可以类似地应用于根据本发明的方法,其中该方法的步骤与所述另外的方面的特征相关联。
总之,本申请提供了一种发明,其中根据本发明的设备由光源的照明特性促使来将如由光源指示的包括/属于特定类别/组/标签等的特定类型的信息定位在图像中由光源发射的代码指示的和/或依赖于设备的物理参数的位置。是特定分类或包括分类符的信息可以应用于本发明的各方面和实施例。
提供给本发明第一目的的实施例可以在适当修改后提供给本发明的其他目的。
附图说明
现在将通过示意性非限制性附图进一步阐明本发明:
图1A示意性地描绘了用于将信息定位在图像中的位置的设备的实施例,该设备包括检测器、处理器和图像呈现设备;并且图1B示意性地描绘了其透视视野。
图1B还同时描绘了用于将信息定位在图像中的位置的系统的实施例,其中该系统包括根据本发明的设备和光源。图1B还同时描绘了根据本发明的这种光源。
图2示意性地描绘了图1B中描绘的系统的实施例的应用。
图3A示意性地描绘了用于将信息定位在图像中的位置的设备的实施例,该设备包括检测器、处理器和图像呈现设备,其中处理器被布置用于通过访问数据库来获取位置;并且图3B示意性地描绘了其透视视野。
图4在流程图内示意性地描绘了用于将信息定位在图像中的位置的方法的实施例。
具体实施方式
如所提及的,提供了一种用于将信息定位在图像中的位置的改进的设备。所述设备利用包括在记录的图像中的光源来确定什么信息将被定位在经处理的图像中的什么位置。这种经处理的图像可以例如用于增强现实视野。因此,所述经处理的图像和/或所述增强现实视野可以有利地由光源管理,以规整和/或布局信息。作为结果,提供了一种自动的、更有效的和更高效的设备,其用于将信息定位在图像中的位置,从而用于管理视野,例如增强现实视野。
通过非限制性示例,图1A和图1B示意性地描绘了用于将信息18定位在图像13中的位置17处、最终提供经处理的图像19的设备100的实施例。设备100包括检测器10、处理器11和图像呈现设备12。检测器10、处理器11和图像呈现设备12是通过有线连接而连接的单独组件。可替代地,所述组件可以集成到设备的单个主体中。又可替代地,所述组件可以是单独的,但是包括彼此通信的收发器,例如通过无线连接(诸如Wi-Fi、蓝牙、ZigBee或RF)通信的检测器、处理器和/或图像呈现设备。
这里,所述设备100是车辆22的增强现实设备的一部分,其在显示器上提供增强现实视野,和/或通过将增强现实视野投影到平视显示器上来在车辆22的挡风玻璃20的平视显示器上提供增强现实视野。两者都在图1B中利用图像呈现设备12的附图标记十二示意性地描绘。设备100的处理器11是自主且独立的,但是可替代地,可以是车辆22的处理器的一部分或耦合到车辆22的设备,诸如导航设备或计算机。所述平视显示器本身可以包括透明或半透明的投影屏幕,其中通过平视显示器看到现实23的一部分。可替代地,所述设备也可以是虚拟现实设备、投影仪设备、智能电话、智能眼镜、交互式目镜、导航设备或平板电脑的一部分。所述显示器可以是触摸屏、3D屏幕或全息显示器。可替代地,所述图像呈现设备可以是投影设备,其中投影可以提供在例如玻璃、透镜或眼睛上。在平视显示器的情况下,处理器11通过使图像完全透明来将图像13处理成经处理的图像,使得可以通过平视显示器看到现实23,同时可以在其上投影增强的特征。
参考图1A和图1B,检测器10记录图像13。检测器是光电检测器,更具体地说是相机。可替代地,所述检测器可以扩展有附加传感器,诸如用于感测光学、射频和/或热特征的传感器,其可以提供包括所述感测特征的替代图像。所述图像13是现实23的表示,即包括格式和尺寸的视频。例如在图1B中,图像13描绘了通过车辆22的挡风玻璃20看到的真实视野23。此处,真实视野23的记录包括照明基础设施,该照明基础设施包括多个灯杆。每个灯杆可以包括一个(或至少一个)光源。图像13包括灯杆21,其中灯杆21包括光源14。光源14的照明特性15包括指示信息18和在图像13中信息18要被定位的位置17的代码16。可替代地,可以记录包括其他照明特性的其他光源,诸如具有洗墙照明特性的房屋的洗墙灯,在图1B中分别参考附图标记14*和15*。所述洗墙照明特性可以包括颜色编码中的代码。
光源14是发射具有照明特性15的光的半导体照明设备。照明特性15是调制的可见光。可替代地,发射的光可以在射频光谱或红外光谱内。因此,此处发射的光和相应的照明特性15是编码光,这是指可见光通信(VLC)的原理内的编码。因此,通过根据合适的调制技术来调制强度,信号被嵌入光源14的可见光中。可替代地,可以根据编码方案来调制光的其他性质,诸如颜色。又可替代地,光源14的特征可以是连续发射单个颜色。单个颜色可以指示代码。
如上所述,光源14的照明特性15包括指示信息18和在图像13中信息18要被定位的位置17的代码16。处理器11处理图像13以获取代码16,后续获取信息18和位置17,两者都由代码16指示。更进一步地,处理器11被布置成通过将信息18定位在图像13中的位置17来将图像13处理成经处理的图像19。在图1B中,处理器11被间接描绘在车辆22的仪表板内。处理器11可以具有工作存储器来临时存储和处理信息,诸如托管数据库信息。
图像呈现设备12呈现经处理的图像19。在图1B中描绘了车辆22的挡风玻璃的平视显示器上的呈现以及所述显示器上的呈现内容。
仍然参考图1A和图1B所描绘的实施例,位置17包括在代码16中。代码16明确指示、定义或确定在图像13中信息18要被定位的位置17。更具体地说:首先,位置17”被编码在代码16中,具有相对于记录的图像的相对或一般坐标。此处,所述相对坐标定义用于定位信息18”的位置17”(即记录的图像13的右下角)。第二,位置17’在代码16中被编码为一般命令,以将信息18’相对地定位在记录的图像13的尺寸的最左边15%。第三,位置17作为命令字符串直接包括在代码16中,其中位置17被定义为相对于光源14或照明特性15在图像13中的定位的定位。处理器11认知所述命令字符串,该命令字符串也可以是例如光源的标识符,并且执行处理步骤以识别光源14在图像13中的定位,并且相对于光源在图像13中的定位来定位信息18。由于代码16已经在图像13中被检测到,所以所提及的处理步骤在计算上可能是高效的。此处,位置17被定义为图像13中与光源14在图像中的定位一致的定位。可替代地,可以设想关于代码可以如何包括位置的其他示例或组合。可替代地,如果照明特性是例如光源的光占用区域,则该信息可以与照明特性在图像中的定位一致。又可替代地,位置可以被定义为相对于图像呈现设备的边缘的定位,使得所述边缘可以被用作参考点。
更进一步地,代码16指示信息18。此处,代码16明确指示信息18的类型。处理器11被布置用于基于所述代码16获取所述信息18。也就是说,此处,代码16包括指示导航信息18、设备信息18’和/或通信信息18”的类型的数据字符串。处理器11现在知道哪种类型的信息18、18’、18”需要被获取并定位在相应的位置17、17’、17”。可替代地,所述代码可以包括具有光源的标识符的数据字符串。处理器然后可以基于所述标识符获取信息或信息的类型。因此,放置在拥挤交叉路口的光源的标识符可以向处理器指示导航信息,该导航信息例如将被设备定位在图像中最符合人体工程学的定位,以提高例如增强现实视野导航期间的安全性。又可替代地,代码可以包括相关信息的内容,诸如导航信息的导航内容,例如方向(或者在广告信息的情况下是广告)本身。
因此,作为上述的结果,代码16促使设备100将导航信息18定位在图像13中的位置17,位置17是与光源14在图像13中的定位一致的定位。导航信息18的内容由处理器11在内部或从连接的存储器/处理单元中获取。进一步地,如图1A和图1B所描绘的,通信信息18”定位于位置17”,位置17”是图像13的右下角相对坐标;并且设备信息18’定位于位置17’,位置17’是图像13的左侧15%。因此,经处理的图像19提供了更符合人体工程学、更安全且更高效的增强现实视野,因为信息定位于相应位置而不是使视野混乱。
仍然参考图1B,但是在不同的实施例中,系统1000被提供用于将信息18定位在图像13中的位置17,系统1000包括根据本发明的设备100,并且灯杆21包括光源14。灯杆可以是照明基础设施的一部分。
图2通过非限制性示例示意性地描述了图1B所描绘的系统的实施例的应用。交通情形200被描绘为具有包括危险交叉路口的道路。车辆220在所述道路上导航并穿过危险交叉路口。对应于车辆220的导航路径,描绘了四个时间1、2、3、4。车辆220包括根据本发明的设备100,该设备100是车辆220的挡风玻璃的增强现实视野的一部分,部分类似于图1A和图1B中所描绘的实施例。
在时间1中的第一时刻,车辆220还没有遇到危险交叉路口,并且在笔直的路段上导航。根据本发明的设备100的检测器记录视野,该视野在时间1中的第一时刻包括不根据本发明的常规光源210。由于多个信息,导航信息150(诸如指示方向的箭头)和通信信息160(诸如包括文本或邮件的弹出消息)使时间1中的第一时刻的增强现实视野混乱。可替代地,在增强现实视野中可以存在其他类型的信息,诸如广告或旅游信息。
在时间2中的第二时刻,车辆220正在接近危险交叉路口。根据本发明的灯杆21(即系统1000)存在于危险交叉口的交叉处。如前面的描述中所阐明的,所述灯杆21光源的照明特性包括代码140,代码140指示信息180、180’和在图像中信息180、180’要被定位的相应位置170、170’,即,此处该图像是借助于设备100在车辆220的挡风玻璃上呈现的增强现实视野的一部分。因此,由于系统1000、光源21和设备100,导航信息180和通信信息180’(两者之前使视野混乱)现在分别位于挡风玻璃右侧的最终15%和左侧的最终15%(即通过图像呈现设备)。可替代地,根据人体工程学、视野管理或安全性,可以设想其他合适的位置。因此,由于本发明,当车辆在时间2中的第二时刻导航通过危险交叉路口时,系统1000确保交叉路口的规整的清晰视野。这意味着可以向车辆中增强现实视野的用户提供危险交叉路口的交通情形200的更安全的概览。这也可以应用于自主车辆,其中用户使用增强现实视野来从车辆中部分地工作(例如回复邮件、呼叫、写作、编辑等),使得每当由于安全规定需要清晰的道路视野时,增强现实视野自动规整。
在时间3中的第三时刻,车辆220正离开危险交叉路口,并且由于光源21仍然根据本发明,所以在时间中的第二时刻由本发明启用的情形在适当修改后适用于时间3中的第三时刻。在时间4中的第四时刻,车辆220不再处于危险交叉路口,并且由于光源210不根据本发明,所以在时间1中的第一时刻(不由本发明启用)的情形在适当修改后适用于在时间4中的第四时刻。交通控制机构可以在期望例如使用增强现实设备的用户的车辆的增强现实视野的有效控制的地方提供包括根据本发明的光源的灯杆21。
通过非限制性示例,图3A和图3B示意性地描绘了用于将信息38、38’定位在图像33中的位置37、37’的设备300的实施例,设备300包括检测器30、处理器31和图像呈现设备32,其部分类似于图1A和图1B中的实施例,但是现在其中处理器31被布置用于访问数据库40和从数据库40中获取位置37、37’。
设备300是智能眼镜42的一部分,智能眼镜42借助于将图像投影到透明投影元件(诸如镜片)上的图像呈现设备来提供现实43的增强现实视野。现实43是城市中拥挤的购物街道,该街道包括多个具有购物窗口的商店。每个商店都向智能眼镜42发送无线信息,从而呈现增强现实视野(未描绘)的混乱视野。如图3A和图3B所体现的,本发明规整并改进增强现实视野。购物窗口上方的每面墙或购物窗口本身都利用提供洗墙效果35’的洗墙灯34’照亮。更进一步地,购物街道上的灯杆34提供编码光35。
参考图3A和图3B,检测器30记录图像33。图像33包括光源34、34’(即,洗墙灯或灯杆),其中光源的照明特性35、35’包括指示信息38、38’和在图像33中信息38、38’要被定位的位置37、37’的代码36。处理器31处理图像33以获取代码36。代码36包括识别光源34、34’的标识符和指示对应于所述标识符的信息37、37’的类型的数据字符串。处理器31获取由代码36指示的信息,该信息是对应于由数据字符串指示的广告信息的类型的广告信息38。可替代地,所述信息可以是旅游信息38’。进一步地,处理器通过访问数据库40获取由代码36指示的位置37、37’,数据库40包括指示对应于代码的位置的列表41,即此处的标识符;以及从数据库40中的列表41中获取对应于代码36的位置37、37’。同样,类似于图1A和图1B所描绘的实施例,处理器通过将信息38、38’定位在图像33中的位置37、37’来将图像33处理成经处理的图像39。
参考图3A和图3B,设备300包括数据库40。可替代地,所述数据库可以在设备300的外部,其中数据库可以通过有线或无线连接被连接到设备300;诸如Wi-Fi、BLE、ZigBee、RF或VLC。
仍然参考图3A和图3B,该信息是旅游信息38和广告信息38’。在广告信息38’的情况下,从数据库40中获取的相应位置37、37’分别与(洗墙)光源34’的照明效果35’(即洗墙效果)一致;并且位于灯杆光源34上方的一偏移处,该偏移是等于图像33高度的10%的距离。所述旅游信息38可以是天气状况,或者本地教堂的开放时间;所述广告信息38’可以是购物街道中的商店的广告内容。
可替代地,导航信息可以锚定到灯杆的光源,因为这可能是城市基础设施中锚定这种信息的最符合人体工程学的定位。又可替代地,广告信息可以锚定到躲避处或商店窗口。又可替代地,旅游信息可以锚定到图像的上部,在大多数情况下,图像的上部可以包括天空。又可替代地,城市信息可以锚定到立面照明。
因此,作为上述的结果,代码36促使设备300将广告信息38’定位在图像33中的位置37’,位置37’位于与洗墙光源34的洗墙效果35’一致的定位(即立面照明)。进一步地,旅游信息38定位在位置38处,位置38在灯杆光源35上方一偏移处。可替代地,所述旅游信息可以定位在相对于图像呈现设备的边缘的定位。因此,经处理的图像39提供了更符合人体工程学且更高效的增强现实视野,因为信息被定位在商店位置而不是使视野混乱。
图4通过非限制性示例示意性地描绘了用于将信息定位在图像中的位置的方法600的实施例的流程图。如用根据本发明的检测器、图像呈现设备和处理器执行的该方法包括(601)记录图像,该图像包括光源,其中光源的照明特性包括指示导航信息和在图像中将导航信息定位至的位置的代码。可替代地,代码可以指示其他类型的信息,诸如广告信息、设备信息、通信信息、城市信息、旅游信息等。该方法还包括(602)处理图像以获取代码;(603)获取由代码指示的导航信息。这种获取可以由处理器通过访问存储所述导航信息的存储器来完成,因为获取这种信息的唯一要求是知道要获取哪种类型或哪个信息,因此这由代码指示。该方法还包括(604)获取由代码指示的位置;(605)通过将导航信息定位在图像中的位置来将图像处理成经处理的图像;(606)显示经处理的图像。在一示例中,将图像处理成经处理的图像的步骤(605)包括将导航信息定位在图像中与图像中光源的照明特性一致的定位;其中光源是街道照明基础设施的一部分。
在未描绘的一实施例中,图4中描绘的方法还包括:(607)通过访问包括列表的数据库来获取由代码指示的位置,该列表指示对应于代码的位置;以及(608)从数据库中的列表中获取对应于代码的位置。
在未描绘的一替代实施例中,图4中描绘的方法还包括(608)通过以下方式获取由代码指示的位置:处理代码;其中位置包括在代码中。
Claims (15)
1.一种用于将信息定位在图像中的位置的设备,所述设备包括:
-用于记录所述图像的检测器,所述图像包括光源,其中所述光源的照明特性包括指示所述信息和在所述图像中所述信息要被定位的位置的代码,其中所述位置被定义为相对于所述光源在所述图像中的定位的定位;
-处理器,被布置用于
-处理所述图像以获取所述代码,
-获取由所述代码指示的所述信息,
-获取由所述代码指示的所述位置,
-通过将所述信息定位在所述图像中的所述位置,将所述图像处理成经处理的图像;
-图像呈现设备,用于呈现所述经处理的图像。
2.根据权利要求1所述的设备,其中所述处理器被布置用于通过以下方式获取由所述代码指示的所述位置
-访问包括列表的数据库,所述列表指示对应于代码的位置;以及
-从所述数据库中的所述列表中获取对应于所述代码的所述位置。
3.根据权利要求1所述的设备,其中所述处理器被布置用于通过以下方式获取由所述代码指示的所述位置
-处理所述代码;其中所述位置被包括在所述代码内。
4.根据前述权利要求中任一项所述的设备,其中所述信息包括下列中的至少一个:导航信息、旅游信息、广告信息、通信信息和设备信息。
5.根据前述权利要求中任一项所述的设备,其中所述位置被定义为所述图像中与所述光源在所述图像中的所述定位一致的定位。
6.根据前述权利要求中任一项所述的设备,其中在所述图像中所述信息要被定位的所述位置还依赖于所述设备的物理参数;
其中所述处理器还被布置用于获取所述设备的物理参数,并且通过将所述信息定位在所述图像中的所述位置来将所述图像处理成经处理的图像,其中所述位置还依赖于所述物理参数。
7.根据前述权利要求中任一项所述的设备,其中所述物理参数是下列中的一个:所述设备的位置、所述设备的速度、所述设备的取向和所述设备的使用。
8.根据前述权利要求中任一项所述的设备,其中所述位置被定义为相对于所述图像呈现设备的边缘的定位。
9.根据权利要求7所述的设备,其中将所述图像处理成经处理的图像包括将导航信息定位在所述图像中的所述位置,其中所述位置被定义为所述图像中与所述光源在所述图像中的所述定位一致的定位;并且其中所述光源是街道照明基础设施的一部分。
10.一种用于将信息定位在图像中的位置的系统,所述系统包括
-根据前述权利要求中任一项所述的设备,以及
-所述光源。
11.一种将信息定位在图像中的位置的方法,所述方法包括:
记录所述图像,所述图像包括光源,其中所述光源的照明特性包括指示所述信息以及在所述图像中所述信息要被定位的位置的代码,其中所述位置被定义为相对于所述光源在所述图像中的定位的定位;
-处理所述图像以获取所述代码;
-获取由所述代码指示的所述信息;
-获取由所述代码指示的所述位置;
-通过将所述信息定位在所述图像中的所述位置,将所述图像处理成经处理的图像;
-显示所述经处理的图像。
12.根据权利要求11所述的方法,包括,其中所述获取由所述代码指示的所述位置通过以下方式执行:
-访问包括列表的数据库,所述列表指示对应于代码的位置;以及
-从所述数据库中的所述列表中获取对应于所述代码的所述位置。
13.根据权利要求12所述的方法包括,其中所述获取由所述代码指示的所述位置通过以下方式执行:
-处理所述代码;其中所述位置被包括在所述代码内。
14.根据权利要求11-13中任一项所述的方法,其中所述将所述图像处理成经处理的图像包括将定位、导航和/或基于位置的服务所要求的信息定位在所述图像中的所述位置,其中所述位置被定义为所述图像中与所述图像中的所述光源的所述照明特性一致的定位;并且其中所述光源是街道照明基础设施的一部分。
15.一种用于计算设备的计算机程序产品,所述计算机程序产品包括计算机程序代码,当所述计算机程序产品在所述计算设备的处理单元上运行时,所述计算机程序代码执行权利要求11至14中任一项所述的方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP17182250.5 | 2017-07-20 | ||
EP17182250 | 2017-07-20 | ||
PCT/EP2018/069254 WO2019016132A1 (en) | 2017-07-20 | 2018-07-16 | DEVICE FOR POSITIONING INFORMATION AT A LOCATION IN AN IMAGE |
Publications (1)
Publication Number | Publication Date |
---|---|
CN110914698A true CN110914698A (zh) | 2020-03-24 |
Family
ID=59631541
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201880048492.8A Pending CN110914698A (zh) | 2017-07-20 | 2018-07-16 | 用于将信息定位在图像中位置的设备 |
Country Status (5)
Country | Link |
---|---|
US (1) | US11150101B2 (zh) |
EP (1) | EP3655794B1 (zh) |
JP (1) | JP6792740B2 (zh) |
CN (1) | CN110914698A (zh) |
WO (1) | WO2019016132A1 (zh) |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20110161875A1 (en) * | 2009-12-29 | 2011-06-30 | Nokia Corporation | Method and apparatus for decluttering a mapping display |
US8248467B1 (en) * | 2011-07-26 | 2012-08-21 | ByteLight, Inc. | Light positioning system using digital pulse recognition |
US20120224060A1 (en) * | 2011-02-10 | 2012-09-06 | Integrated Night Vision Systems Inc. | Reducing Driver Distraction Using a Heads-Up Display |
US20130027528A1 (en) * | 2011-07-26 | 2013-01-31 | ByteLight, Inc. | Method and system for video processing to determine digital pulse recognition tones |
US20150242804A1 (en) * | 2014-02-25 | 2015-08-27 | International Business Machines Corporation | Light pulse object identification |
US20160042563A1 (en) * | 2014-08-11 | 2016-02-11 | Empire Technology Development Llc | Augmented reality information management |
US20160225186A1 (en) * | 2013-09-13 | 2016-08-04 | Philips Lighting Holding B.V. | System and method for augmented reality support |
US20160231134A1 (en) * | 2015-02-06 | 2016-08-11 | Volkswagen Ag | Interactive 3d navigation system |
US20160349062A1 (en) * | 2015-05-27 | 2016-12-01 | Here Global B.V. | Method, apparatus and computer program product for providing navigation information in relation to augmented reality guidance |
CN106462265A (zh) * | 2014-03-28 | 2017-02-22 | 飞利浦灯具控股公司 | 基于编码光定位便携式设备 |
CN106850063A (zh) * | 2017-02-15 | 2017-06-13 | 深圳前沿通信技术开发有限公司 | 基于可见光通信的信息传输方法、装置及系统 |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1833388B (zh) | 2003-08-20 | 2015-03-25 | 松下电器(美国)知识产权公司 | 无线通信装置以及副载波分配方法 |
US20080010134A1 (en) * | 2006-06-16 | 2008-01-10 | Musumeci S Charles | Methods of advertising using overhead sign structures |
JP4973299B2 (ja) * | 2007-01-19 | 2012-07-11 | ソニー株式会社 | 光通信装置、光通信方法 |
JP2010014408A (ja) * | 2008-07-01 | 2010-01-21 | Meidensha Corp | 照明体を用いた測位システム |
US20100156933A1 (en) | 2008-12-19 | 2010-06-24 | Yahoo! Inc. | Virtualized real world advertising system |
KR101388507B1 (ko) | 2012-09-04 | 2014-04-24 | 한국과학기술연구원 | 위치정보제공 기능이 구비된 조명장치와, 이 조명장치를 이용한 위치정보 탐지시스템 및 위치정보 탐지방법 |
WO2014095071A1 (en) * | 2012-12-21 | 2014-06-26 | Harman Becker Automotive Systems Gmbh | System for a vehicle |
WO2015077766A1 (en) | 2013-11-25 | 2015-05-28 | Pcms Holdings, Inc. | Systems and methods for providing augmenting reality information associated with signage |
US9355599B2 (en) | 2014-03-06 | 2016-05-31 | 3M Innovative Properties Company | Augmented information display |
US10298911B2 (en) * | 2014-03-31 | 2019-05-21 | Empire Technology Development Llc | Visualization of spatial and other relationships |
US9576460B2 (en) * | 2015-01-21 | 2017-02-21 | Toyota Motor Engineering & Manufacturing North America, Inc. | Wearable smart device for hazard detection and warning based on image and audio data |
-
2018
- 2018-07-16 CN CN201880048492.8A patent/CN110914698A/zh active Pending
- 2018-07-16 EP EP18737934.2A patent/EP3655794B1/en active Active
- 2018-07-16 WO PCT/EP2018/069254 patent/WO2019016132A1/en unknown
- 2018-07-16 JP JP2020502399A patent/JP6792740B2/ja active Active
- 2018-07-16 US US16/632,493 patent/US11150101B2/en active Active
Patent Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20110161875A1 (en) * | 2009-12-29 | 2011-06-30 | Nokia Corporation | Method and apparatus for decluttering a mapping display |
US20120224060A1 (en) * | 2011-02-10 | 2012-09-06 | Integrated Night Vision Systems Inc. | Reducing Driver Distraction Using a Heads-Up Display |
US8248467B1 (en) * | 2011-07-26 | 2012-08-21 | ByteLight, Inc. | Light positioning system using digital pulse recognition |
US20130027528A1 (en) * | 2011-07-26 | 2013-01-31 | ByteLight, Inc. | Method and system for video processing to determine digital pulse recognition tones |
US20160225186A1 (en) * | 2013-09-13 | 2016-08-04 | Philips Lighting Holding B.V. | System and method for augmented reality support |
CN105899911A (zh) * | 2013-09-13 | 2016-08-24 | 飞利浦灯具控股公司 | 用于增强现实支持的系统和方法 |
US20150242804A1 (en) * | 2014-02-25 | 2015-08-27 | International Business Machines Corporation | Light pulse object identification |
CN106462265A (zh) * | 2014-03-28 | 2017-02-22 | 飞利浦灯具控股公司 | 基于编码光定位便携式设备 |
JP2017519184A (ja) * | 2014-03-28 | 2017-07-13 | フィリップス ライティング ホールディング ビー ヴィ | 符号化光に基づく携帯装置の位置特定 |
US20160042563A1 (en) * | 2014-08-11 | 2016-02-11 | Empire Technology Development Llc | Augmented reality information management |
US20160231134A1 (en) * | 2015-02-06 | 2016-08-11 | Volkswagen Ag | Interactive 3d navigation system |
US20160349062A1 (en) * | 2015-05-27 | 2016-12-01 | Here Global B.V. | Method, apparatus and computer program product for providing navigation information in relation to augmented reality guidance |
CN106850063A (zh) * | 2017-02-15 | 2017-06-13 | 深圳前沿通信技术开发有限公司 | 基于可见光通信的信息传输方法、装置及系统 |
Also Published As
Publication number | Publication date |
---|---|
US11150101B2 (en) | 2021-10-19 |
EP3655794A1 (en) | 2020-05-27 |
WO2019016132A1 (en) | 2019-01-24 |
EP3655794B1 (en) | 2021-05-05 |
US20200200559A1 (en) | 2020-06-25 |
JP2020527806A (ja) | 2020-09-10 |
JP6792740B2 (ja) | 2020-11-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10496252B2 (en) | Interactive map informational lens | |
US20180365893A1 (en) | Augmented reality transportation notification system | |
US20200219325A1 (en) | Information providing method and information providing vehicle therefor | |
CN110168616B (zh) | 增强现实显示器中的叠加对比度控制 | |
US9429435B2 (en) | Interactive map | |
CN105452567A (zh) | 机器人智能标志系统和方法 | |
CN104272371A (zh) | 透明显示设备及其方法 | |
US20160018238A1 (en) | Route inspection portals | |
AU2012360730A1 (en) | An apparatus, method and computer program for displaying points of interest | |
US10783714B2 (en) | Methods and systems for automatically tailoring a form of an extended reality overlay object | |
EP4024345A1 (en) | Method, apparatus, and computer program product for displaying virtual graphical data based on digital signatures | |
CN104982090A (zh) | 个人信息通信器 | |
CN107480173B (zh) | Poi信息的展示方法及装置、设备及可读介质 | |
US20210389152A1 (en) | Method, apparatus, and system for projecting augmented reality navigation cues on user-selected surfaces | |
CN117036529A (zh) | 增强现实显示器中的叠加强调修改 | |
US20150234547A1 (en) | Portals for visual interfaces | |
CN112020630A (zh) | 用于更新建筑物的3d模型的系统和方法 | |
JP7287950B2 (ja) | 通信方法、通信装置、およびプログラム | |
US11734720B2 (en) | Information processing system, recording medium, and information processing method | |
JP6792740B2 (ja) | 画像内の場所に情報を配置するためのデバイス | |
US10345965B1 (en) | Systems and methods for providing an interactive user interface using a film, visual projector, and infrared projector | |
EP3510440B1 (en) | Electronic device and operation method thereof | |
US20240053162A1 (en) | Systems and methods for pedestrian guidance via augmented reality | |
KR20170112975A (ko) | 이벤트에 따른 경로 정보 제공 장치 및 그 방법 | |
EP4198868A1 (en) | Method and apparatus for determining a confidence level for map feature identification in a map application |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
AD01 | Patent right deemed abandoned | ||
AD01 | Patent right deemed abandoned |
Effective date of abandoning: 20240308 |