CN105096264A - 处理设备和处理方法 - Google Patents

处理设备和处理方法 Download PDF

Info

Publication number
CN105096264A
CN105096264A CN201510178017.0A CN201510178017A CN105096264A CN 105096264 A CN105096264 A CN 105096264A CN 201510178017 A CN201510178017 A CN 201510178017A CN 105096264 A CN105096264 A CN 105096264A
Authority
CN
China
Prior art keywords
structural
electronic installation
digital picture
images
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510178017.0A
Other languages
English (en)
Other versions
CN105096264B (zh
Inventor
峰新
保罗·希尔布格尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lenovo Singapore Pte Ltd
Original Assignee
Lenovo Singapore Pte Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lenovo Singapore Pte Ltd filed Critical Lenovo Singapore Pte Ltd
Publication of CN105096264A publication Critical patent/CN105096264A/zh
Application granted granted Critical
Publication of CN105096264B publication Critical patent/CN105096264B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Processing Or Creating Images (AREA)
  • Studio Devices (AREA)

Abstract

本申请提供了一种处理设备和处理方法。为了增强数字图像,处理设备识别数字图像中的结构图像。处理设备还用针对结构图像的结构信息和/或所述结构图像被去除的数字图像来增强所述数字图像。

Description

处理设备和处理方法
技术领域
本文中公开的主题涉及数字图像,并且更具体地涉及对数字图像进行增强。
背景技术
常常使用电子装置来捕获数字图像。该数字图像可以包括结构图像。
发明内容
公开了一种用于增强数字图像的处理设备。该设备包括摄像头、显示器、处理器和存储器。显示器显示来自摄像头的数字图像。存储器可以存储能够由处理器执行的代码。其中,处理器用于识别数字图像中的结构图像;以及用增强量来增强数字图像的代码,增强量选自针对结构图像的结构信息和结构图像被去除的数字图像。一种处理方法和计算机程序产品还执行该设备的功能。
附图说明
将参照附图中示出的特定实施方式作出对以上简要描述的实施方式的更具体的描述。应当理解,这些附图仅描绘了一些实施方式,并且因此不应当认为对范围进行限制,将通过使用附图来另外具体并且详细地描述和说明实施方式,在附图中:
图1A是示出数字图像增强系统的一个实施方式的示意性框图;
图1B是示出电子装置的一个实施方式的前视图;
图1C是示出电子装置的一个实施方式的后视图;
图2A是示出电子装置上的数字图像的一个实施方式的前视图;
图2B是示出电子装置上的具有增强量选项的数字图像的一个实施方式的前视图;
图2C是示出电子装置上的具有结构信息的数字图像的一个实施方式的前视图;
图2D是示出电子装置上的、结构图像被去除的数字图像的一个实施方式的前视图;
图2E是电子装置上的具有互补图像的数字图像的一个实施方式的前视图;
图3A是示出结构数据库的一个实施方式的示意性框图;
图3B是示出电子装置数据库的一个实施方式的示意性框图;
图3C是示出电子装置数据的一个实施方式的示意性框图;
图4是示出结构矢量的一个实施方式的立体图;
图5是示出电子装置的一个实施方式的示意性框图;以及
图6是示出数字图像增强方法的一个实施方式的示意性流程图。
具体实施方式
如本领域普通技术人员将理解的,实施方式的方面可以实施为系统、方法或程序产品。因此,实施方式可以采取下述形式:完全硬件实施方式、完全软件实施方式(包括固件、常驻软件、微代码等)或将软件方面和硬件方面组合的实施方式,这些实施方式在本文中通常都可以称为“电路”、“模块”或“系统”。而且,实施方式可以采取在一个或更多个计算机可读存储装置中实现的程序产品的形式,该一个或更多个计算机可读存储装置存储在后文中称为代码的机器可读代码、计算机可读代码和/或程序代码。存储装置可以是有形的、非暂态的和/或非传输的。存储装置可以不利用信号。在某个实施方式中,存储装置仅利用用于访问代码的信号。
本说明书中描述的功能单元中的许多功能单元已被标示为模块,以便于更具体地强调这些功能单元的实现独立性。例如,模块可以实现为硬件电路,该硬件电路包括定制VLSI电路或门阵列、不用定制的半导体(比如逻辑芯片、晶体管或其他的分立部件)。模块还可以实现为可编程硬件装置,比如现场可编程门阵列、可编程阵列逻辑、可编程逻辑装置等。
模块还可以实现为用于由各种类型的处理器执行的代码和/或软件。代码的识别模块例如可以包括一个或更多个可执行代码物理块或逻辑块,该一个或更多个可执行代码物理块或逻辑块例如可以被组织为对象、过程或函数。然而,识别模块的可执行体不需要物理地定位在一起,而可以包括存储在不同位置中的不同指令,该不同指令在被逻辑地结合在一起时包括该模块并且实现针对该模块的一定目的。
实际上,代码模块可以是单个指令或者多个指令,并且该代码模块甚至可以分布在若干不同代码段上、在不同程序之间和跨若干存储装置。相似地,在本文中可以在模块内识别并且示出操作数据,并且该操作数据可以被实施为任何适合的形式并且被组织在任何适合类型的数据结构内。操作数据可以被收集为单个数据集合,或者可以分布在包括不同计算机可读存储装置的不同位置上。在模块或模块的一部分实现为软件的情况下,软件部分存储在一个或更多个计算机可读存储装置上。
可以使用一个或更多个计算机可读介质的任何组合。计算机可读介质可以是计算机可读存储介质。计算机可读存储介质可以是存储代码的存储装置。存储装置可以是例如而不限于电子的、磁的、光的、电磁的、红外的、全息的、微机械的或半导体系统、设备、装置或前述的任意适合组合。
存储装置的更具体示例(非穷尽列表)可以包括下述内容:具有一个或更多个线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或闪速存储器)、便携式致密盘只读存储器(CD-ROM)、光存储装置、磁存储装置或前述的任意适合组合。在本文件的上下文中,计算机可读存储介质可以是能够包含或者存储程序的任何有形介质,该程序用于被指令执行系统、设备或装置使用或者与该指令执行系统、设备或装置结合来使用。
用于执行针对实施方式的操作的代码可以以一种或更多种编程语言的任意组合来编写,编程语言包括:面向对象编程语言,比如Java、Smalltalk或C++等;以及,传统的过程编程语言,比如“C”编程语言或类似的编程语言。代码可以完全在用户的计算机上执行,可以部分地在用户的计算机上执行,可以作为独立的软件包执行,可以部分地在用户计算机上并且部分地在远程计算机上执行,或者可以完全在远程计算机或服务器上执行。在后者的情形下,远程计算机可以通过包括局域网(LAN)或广域网(WAN)的任意类型的网络连接至用户的计算机,或者可以(例如,使用因特网服务提供商通过因特网)与外部计算机进行该连接。
贯穿本说明书对“一个实施方式”、“实施方式”或相似语言的引用意指在至少一个实施方式中包括结合实施方式描述的具体的特征、结构或特性。从而,贯穿本说明书出现的短语“在一个实施方式中”、“在实施方式中”和相似语言可以但不必要都指相同的实施方式,而意指“一个或更多个但并非所有的实施方式”(除非另有明确说明)。术语“包括”、“包含”、“具有”及其变体意指“包括但不限于”,除非另有明确说明。列举的项目列表不暗示项目中的任何项目或全部项目是相互排他的,除非另有明确说明。术语“一个”、“一种”和“该”还指“一个或更多个”,除非另有明确说明。
而且,实施方式的所描述的特征、结构或特性可以以任意适合的方式来组合。在下面的描述中,为了提供对实施方式的全面理解,提供了许多特定细节,比如下述内容的示例:编程、软件模块、用户选择、网络事务、数据库询问、数据库结构、硬件模块、硬件电路、硬件芯片等。然而,相关领域的普通技术人员将认识到,可以在没有特定细节中的一个或更多个特定细节的情况下实践实施方式,或者可以用其他的方法、部件、材料等来实践实施方式。在其他的示例中,没有示出或者更详细地描述公知的结构、材料或操作以避免模糊实施方式的方面。
下面参照根据实施方式的方法、设备、系统和程序产品的示意性流程图和/或示意性框图来描述实施方式的方面。将理解的是,示意性流程图和/或示意性框图中的每块以及示意性流程图和/或示意性框图中的块的组合可以通过代码来实现。这些代码可以被提供至用于生产机器的通用计算机、专用计算机或其他的可编程数据处理设备的处理器,以使得经由计算机或其他的可编程数据处理设备的处理器执行的指令创建用于实现在示意性流程图和/或示意性框图的一个块或多个块中指定的功能/动作的装置。
代码还可以存储在存储装置中,该存储装置可以指引计算机、其他的可编程数据处理设备或其他的装置以特定方式运行,以使得存储在存储装置中的指令产生制品,该制品包括实现在示意性流程图和/或示意性框图的一个块或多个块中指定的功能/动作。
代码还可以加载至计算机、其他的可编程数据处理设备或其他的装置上,以使要在计算机、其他的可编程数据处理设备或其他的装置上执行的一系列操作步骤产生计算机实现的处理,从而使得在计算机或其他的可编程设备上执行的代码提供用于实现在流程图和/或框图的一个块或多个块中指定的功能/动作的处理。
图中的示意性流程图和/或示意性框图示出了根据各种实施方式的设备、系统、方法和程序产品的可能实现的架构、功能性和操作。在这方面,示意性流程图和/或示意性框图中的每个块可以表示代码模块、代码段或部分代码,其包括用于实现指定的逻辑功能的代码的一个或更多个可执行指令。
还应当注意,在一些可替代的实现中,块中指出的功能可以不按照图中指出的顺序发生。例如,连续示出的两个块实际上可以基本上并发地执行,或者根据涉及的功能性,这些块有时可以按照相反顺序执行。可以想到在功能、逻辑或效果上与示出的图的一个或更多个块或者其一部分等同的其他的步骤和方法。
尽管可以在流程图和/或框图中使用各种箭头类型和线类型,然而应当理解该各种箭头类型和线类型不限制对应实施方式的范围。实际上,可以使用一些箭头或其他的连接符来仅指示所描绘的实施方式的逻辑流程。例如,箭头可以指示所描绘的实施方式的所列举步骤之间的未指明持续时间的等待或监视时段。还要注意,可以通过执行指定功能或动作的基于专用硬件的系统或者专用硬件和代码的组合来实现框图和/或流程图的每个块以及框图和/或流程图中块的组合。
对每个图中的元件的描述可以指进程图的元件。在包括相同元件的替选实施方式的所有图中,相同的附图标记指相同的元件。
图1是示出数字图像增强系统100的一个实施方式的示意性框图。系统100包括一个或更多个电子装置105、服务器110和网络115。电子装置105可以是移动电话、平板计算机、膝上型计算机等。可替代地,电子装置105可以是安全摄像头、网络摄像头等。
每个电子装置105可以与网络115进行无线连接。网络115可以是因特网、移动电话网络等。无线连接还可以使用Wi-Fi网络,该Wi-Fi网络基于电气和电子工程师协会(IEEE)802.11标准中的任一个标准。可替代地,无线连接可以是连接。另外,无线连接可以使用射频识别(RFID)通信,RFID通信包括由国际标准化组织(ISO)、国际电工委员会(IEC)、美国材料与试验协会(ASTM)、DASH7联盟和EPCGlobal建立的RFID标准。
可替代地,无线连接可以使用基于IEEE802标准的ZigBee连接。在一个实施方式中,无线连接使用如由SigmaDesigns设计的Z波连接。可替代地,无线连接可以使用如由加拿大科克伦的DynastreamInnovations有限公司定义的ANT和/或ANT+连接。
无线连接可以是红外连接,该红外连接包括至少遵照由红外数据协会(IrDA)定义的红外物理层规范(IrPHY)的连接。可替代地,无线连接可以是蜂窝电话网络通信。所有的标准和/或连接类型包括到本申请的申请日时为止的标准和/或连接类型的最新版本和修订。
电子装置105可以通过网络115与服务器110进行通信。服务器110可以实施在服务器群中。可替代地,服务器110可以实施在大型计算机、计算机工作站等中。
图1B是示出图1A的电子装置105的一个实施方式的前视图。在所描绘的实施方式中,示出了平板计算机电子装置105a和移动电话电子装置105b。每个电子装置105可以包括显示器120。
图1C是示出图1A-1B的电子装置105的一个实施方式的后视图。电子装置105可以包括摄像头125。用户可以使用电子装置105以摄像头125来捕获场景的数字图像。电子装置105b可以将该数字图像显示在显示器120上。
在过去,数字图像已作为记录场景的图像和/或视频剪辑的一部分被显示。然而,本文中描述的实施方式增强数字图像,从而使电子装置105提供向用户显示的作为数字图像的一部分的另外信息。特别地,实施方式识别数字图像中的结构图像。另外,实施方式用增强量来增强数字图像。
例如,用户可能希望了解数字图像中的结构的特性。用户可以选择数字图像中的结构图像。实施方式可以提供针对该结构图像的结构信息。可替代地,用户可能希望观看不具有结构图像的场景。如将在后文中描述的,增强量可以是结构图像被去除的数字图像。
图2A是示出电子装置105上的数字图像130的一个实施方式的前视图。在所描绘的实施方式中,电子装置105用摄像头125捕获场景作为数字图像130。用户可能希望对数字图像130中的结构进行更多了解。可替代地,用户可能希望观看不具有特定结构的场景。
在一个实施方式中,用户选择结构图像135。用户可以通过在显示器130上点击结构图像135来选择结构图像135。可替代地,用户可以通过在显示器130上描绘结构图像135的轮廓来选择结构图像135。在一个实施方式中,用户可以使用定点装置来选择结构图像135。在某实施方式中,用户可以使用定点装置来描绘结构图像135的轮廓。
电子装置105可以突出所选择的结构图像135。可替代地,如所示出的,电子装置可以用边界140来描绘所选择的结构图像135的轮廓。
图2B是示出电子装置105上的具有增强量选项145的数字图像130的一个实施方式的前视图。响应于用户选择结构图像135,电子装置105可以显示增强量选项145。用户可以选择增强量选项145之一,并且电子装置105可以响应于所选择的增强量选项145来增强数字图像130。
在所描绘的实施方式中,增强量选项145包括:显示结构信息、去除结构图像和显示互补图像。结构信息可以描述结构图像135。去除结构的选项可以导致电子装置105将结构图像135从数字图像130中去除。显示互补图像选项可以使电子装置105从不同视点从一个或更多个其他的电子装置105中找到场景的一个或更多个其他的互补图像,并且可以使电子装置105将这些互补图像添加至数字图像130(如将在后文所描述的)。
图2C是示出电子装置105上的具有结构信息155的数字图像的一个实施方式的前视图。在所描绘的实施方式中,用针对所选择的结构图像135的结构信息155来增强数字图像130。可以响应于用户选择增强量选项145中的显示结构信息选项来显示结构信息155。结构信息155可以包括下列中的一个或更多个:结构名称;结构占有者;结构用途;结构地址;结构坐标;以及结构历史。另外,结构信息155可以包括结构模型。结构模型可以示出结构的内部布局。可以用结构模型来增强结构图像135。
在一个实施方式中,结构信息155包括信息选项157。用户可以选择信息选项157来访问初始没有与结构图像135一起显示的另外的结构信息155,比如方向157a和/或更多的信息157b。
图2D是示出电子装置105上的、结构图像135被去除的数字图像130的一个实施方式的前视图。在所描绘的实施方式中,从数字图像130中去除所选择的结构图像135。可以响应于用户选择该去除结构增强量选项145来去除所选择的结构图像135。在一个实施方式中,代替所选择的结构图像135,可以显示所选择的结构图像135的结构足迹(structurefootprint)160。
电子装置105可以编辑所选择的结构图像135,以使得不显示所选择的结构图像135。另外,可以访问针对在所选择的结构图像135后面的结构的结构参考图像,以填充数字图像130的没有像素数据的部分。可以将包括完整结构175b和部分结构175a在内的生成结构175添加至数字图像130,以显示场景的由于去除所选择的结构图像135而模糊的部分。
在一个实施方式中,生成结构矢量以识别由于去除所选择的结构图像135而模糊的结构和/或结构的一部分。如将在后文中针对图4所描述的,可以根据结构图像135以及电子装置105的位置和方位来生成结构矢量。可以针对模糊的结构来检索结构参考图像。可以根据结构参考图像来生成该生成结构175。
可替代地,可以识别具有正观看模糊结构的摄像头125的另一电子装置105。如将在后文中所描述的,可以使用结构矢量来识别来自电子装置数据库的另一电子装置105。可以使用来自另一电子装置摄像头125的供给(feed)来生成该生成结构175。
图2E是示出电子装置105上的具有互补图像165的数字图像130的一个实施方式的前视图。在所描绘的实施方式中,从数字图像130中去除所选择的结构图像135。另外,在数字图像130中显示树状的互补图像165。可以响应于用户选择该显示互补图像增强量选项145来显示互补图像165。
在一个实施方式中,可以使用结构矢量来识别电子装置数据库中的、正捕获场景的由于去除所选择的结构图像135而模糊的部分的另一电子装置105。可以使用来自另一电子装置105的摄像头125的供给来生成互补图像165并且将该互补图像165添加至数字图像130。
图3A是示出结构数据库200的一个实施方式的示意性框图。结构数据库200可以包括一个或更多个表格存储条目201。每个条目201可以描述结构。结构数据库200可以存储在服务器110上。可替代地,结构数据库200可以存储在电子装置105上。在一个实施方式中,结构数据库200的定位部分可以存储在电子设备105上。例如,针对具有结构位置210的结构的条目201可以存储在电子装置105上,其中该结构位置210在电子装置105的比如5千米的定位距离内。在一个实施方式中,定位距离在500至5000米的范围内。
在一个实施方式中,条目201包括结构参考图像205、结构位置210、结构模型215和结构信息220。结构参考图像205可以包括相关联的结构的一个或更多个图像。在一个实施方式中,该图像包括结构的前面图像、后面图像、左侧图像、右侧图像和顶部图像。可以使用结构参考图像205来识别所选择的结构图像135。可替代地,可以使用结构参考图像205来在数字图像130上创建生成图像175。
结构位置210可以包括针对结构的全球定位系统(GPS)坐标、结构的尺寸和针对结构的街道地址等。结构模块215可以包括结构内部的三维模型、结构的架构图、结构的内部图像或它们的组合。
结构信息220可以包括结构名称、结构占有者、结构占有者的名录、结构用途、结构地址、结构GPS坐标和结构历史。结构信息220还可以包括对关于结构的另外信息的链接。
图3B是示出电子装置数据库225的一个实施方式的示意性框图。电子装置数据库225可以被组织为针对每个电子装置105的具有条目226的一个或更多个表。电子装置数据库225可以存储在服务器110上。另外,电子装置数据库225的定位部分可以存储在电子装置105上。在一个实施方式中,具有在电子装置105的定位距离内起源的结构矢量280的每个条目226可以存储在电子装置105上。
在所描述的实施方式中,每个条目226包括电子装置标识符230、结构矢量280、供给链接235和供给可用标记240。电子装置标识符230可以唯一地标识条目226的电子装置105。如将在后文中描述的,结构矢量280可以是与通过电子装置105的摄像头125捕获的数字图像130和/或数字图像130的一部分正交的矢量。
供给链接235描述来自与条目226相关联的电子装置105的摄像头125的图像供给的地址。可以使用供给链接235来访问条目226的电子装置105的数字图像130。供给可用标记240可以指示该供给链接235是否能够被其它的电子装置105使用。
图3C是示出电子装置数据250的一个实施方式的示意性框图。电子装置数据250可以被组织为数据结构并且存储在电子装置105的存储器中。可以使用电子装置数据250来识别结构图像135。另外,可以使用电子装置数据250来生成结构矢量280。在所描绘的实施方式中,电子装置数据250包括结构图像布置255、结构图像135、电子装置位置260、电子装置角度265、电子装置海拔270、结构距离275和结构矢量280。
结构图像布置255可以指定结构图像135在数字图像130内的布置。在一个实施方式中,结构图像布置255描述结构图像135的像素。可替代地,结构图像布置255可以描述结构图像135在数字图像130内的几何结构。
结构图像135可以记录所选择的结构图像135的像素,其中数字图像130的其他像素被去除。电子装置位置260可以是电子装置105的PGS坐标。
电子装置角度265可以是电子装置相对于参考矢量的角度。在一个实施方式中,参考矢量是垂直矢量。可替代地,参考矢量可以是从电子装置105至北水平线的水平矢量。在一定的实施方式中,电子装置角度265是电子装置105与地平线的角度。可以使用电子装置105的加速度计和/或陀螺仪来确定电子装置角度265。
电子装置海拔270可以是电子装置105相对于海平面的海拔。电子装置105的GPS可以确定电子装置海拔270。可替代地,电子装置105的气压计可以确定电子装置海拔270。
结构距离275可以是从电子装置105至结构图像135的结构的距离。可以使用电子装置105的两个摄像头125之间和/或电子装置105的一个摄像头125在两个位置之间的视差角度来确定结构距离275。可替代地,可以使用实施在电子装置105中的激光测距仪和/或回波测距仪来确定结构距离275。
可以使用结构图像布置255、结构图像135、电子装置位置260、电子装置角度265、电子装置海拔270和/或结构距离275生成结构矢量280。在一个实施方式中,结构矢量280包括在电子装置位置260处的原点。结构矢量280可以与电子装置数据库225通信。
图4是示出结构矢量280的一个实施方式的立体图。可以根据电子装置105的摄像头125来计算结构矢量280。可以相对于参考矢量405来计算结构矢量280,其中原点在电子装置105处和/或在电子装置105的摄像头125处。
可以根据电子装置105的加速度计和电子装置105的GPS坐标来计算参考矢量405的方向。可以使用电子装置105的GPS坐标、加速度计和/或陀螺仪来确定结构矢量280相对于参考矢量405的垂直角度410和水平角度415。垂直角度410和水平角度415还可以确定电子装置角度265。结构矢量280的长度可以是结构距离275。
图5是示出电子装置105的一个实施方式的示意性框图。电子装置105包括处理器305、存储器310、通信硬件315、摄像头125、显示器120、加速度计320、陀螺仪325、GPS330和气压计335。
存储器310可以是半导体存储器、硬盘驱动器、光存储装置、微机械存储装置或它们的组合。存储器310可以存储代码。处理器305可以执行该代码。通信硬件315可以与网络115和/或其他的装置进行通信。摄像头125、显示器120、加速度计320、陀螺仪325、GPS330和/或气压计335可以实施在电子装置105中。
图6是示出数字图像增强方法500的一个实施方式的示意性流程图。该方法500可以用结构信息220和/或通过去除结构图像135来增强数字图像130。该方法500可以执行系统100和/或电子装置105的功能。在一个实施方式中,通过处理器305来执行该方法500。可替代地,可以通过程序产品来执行该方法500。该程序产品可以包括存储代码的计算机可读存储介质。处理器305可以执行该代码以执行方法500的功能。
方法500开始,并且在一个实施方式中,电子装置105显示505数字图像130。摄像头125可以捕获数字图像130,并且显示器120可以显示505数字图像130。
电子装置105的代码可以接收510结构图像135的结构选择。用户可以通过在显示器120上点击结构图像135来作出该结构选择。可替代地,用户可以通过在显示器120上描绘结构图像135的轮廓来进行结构选择。
电子装置105的代码可以计算515结构矢量280。根据结构图像布置255、电子装置位置260、电子装置角度265、电子装置海拔270和/或结构距离275中的两个或更多个,可以计算515结构矢量280。
电子装置105的代码可以进一步识别520数字图像130中的结构图像135。在一个实施方式中,根据结构数据库200的结构参考图像205来识别结构图像135。电子装置105可以识别与结构图像135匹配的结构参考图像205。在一个实施方式中,代码使用电子装置105的GPS坐标和结构数据库200的结构位置210来识别在电子装置105的定位距离内的结构数据库条目201。代码可以进一步识别520所识别的结构数据库条目201的、与结构图像135匹配的结构参考图像205。
可替代地,代码可以使用结构矢量280来识别520结构图像135。例如,代码可以对应于结构矢量280来识别结构数据库200中的结构位置210。在某实施方式中,识别520在结构矢量280的末端处的结构位置210。可替代地,具有沿着结构矢量280的结构位置210和与结构图像135匹配的结构参考图像205的结构数据库条目201被识别为结构图像135。代码可以进一步通过突出结构图像135和/或用边界140描绘结构图像135的轮廓来识别520结构图像135。
电子装置105的代码可以进一步接收525增强量选项145。增强量选项145可以包括:显示结构信息220、去除结构图像135、以及显示互补图像165。在一个实施方式中,电子装置105显示增强量选项145,并且接收525对增强量选项145中的一个或或更多个增强量选项的用户选择。
电子装置105的代码可以接收530互补图像165。代码可以响应于对显示互补图像增强量选项145和/或去除结构增强量选项145的选择来接收530互补图像165。
在一个实施方式中,代码使用电子装置数据250的结构矢量180来识别具有指向由于结构图像135的结构而模糊的体积的结构矢量280的电子装置数据库条目226。可替代地,代码可以使用电子装置数据250的结构矢量180来识别具有在数字图像130内的结构矢量280的电子装置数据库条目226。
代码可以进一步使用供给可用标记240来确定所识别的电子装置数据库条目226的供给链接235是否可用。如果供给可用标记240指示出供给链接235可用,则代码可以接收530来自供给链接235的互补图像165。
电子装置105的代码可以进一步增强535数字图像130,并且方法500结束。代码可以响应于对增强量选项145的选择来增强535数字图像130。在一个实施方式中,代码通过显示针对结构图像135的结构信息220来增强535数字图像130。可以覆盖结构图像135来显示结构信息220。可替代地,可以与结构图像135相邻地显示结构信息220。
在一个实施方式中,代码通过用结构模型215来增强535结构图像135,增强535数字图像130。例如,可以修改数字图像130来示出结构图像135的结构的内部布局。
在可替代的实施方式中,代码通过从数字图像130中去除结构图像135来增强535数字图像130。例如,代码可以从数字图像130中去除结构图像135的像素。代码还可以将结构足迹160添加至数字图像130来指示结构图像135的位置。
另外,代码可以通过显示生成结构175来增强535数字图像130。可以通过识别由于结构图像135而模糊和/或部分模糊的结构来生成该生成结构175。例如,代码可以识别具有沿着电子装置数据250的结构矢量280的结构位置210的第一结构数据库条目201,其中该结构矢量280超过结构图像135的结构的结构位置210。代码可以使用第一结构数据库条目201的结构参考图像205来将生成结构175进行生成。可以将该生成结构175添加至数字图像130来增强数字图像130。
代码可以用来自第二电子装置105的互补图像165来增强535数字图像130。在一个实施方式中,互补图像165与显示图像130匹配。可以将显示图像130中缺失的元素(比如由于结构图像135而模糊的元素)添加至显示图像130。
在可替代的实施方式中,可以使用互补图像165来加强显示图像130的元素。例如,与显示图像130相比,如果互补图像165示出了具有更高分辨率的元素,则可以将互补图像165的细节添加至显示图像130。在一个实施方式中,如果用户选择互补图像165的元素,则代码可以显示互补图像165。
实施方式识别在数字图像130中的由用户选择的结构图像135,其中该数字图像130为来自摄像头125的摄像头图像的、在显示器120上显示的图像。实施方式进一步增强数字图像130以加强给用户的数字图像130的值。在一个实施方式中,使用针对结构图像135的结构信息220来增强数字图像130。作为结果,用户易于访问关于结构图像135的信息。
可替代地,可以通过从数字图像130中去除结构图像135来增强数字图像130。作为结果,用户有机会“看见”结构图像135后面。另外,可以用互补图像165来增强数字图像130,从而使用户“看见”当前由于结构图像135而模糊的细节。使用互补图像165来增强数字图像130可以使用户从第二电子装置105的视点“看见”细节。
可以用其他的特定形式来实践实施方式。应当认为所描述的实施方式在所有方面仅为示例性而非限制性的。因此,本发明的范围通过所附权利要求而非通过先前描述来指示。在权利要求的等同内容的意义和范围内的所有变化应当包含在权利要求的范围内。
附记:
附记1.一种处理设备,包括:
摄像头;
显示器,所述显示器显示来自所述摄像头的数字图像;
处理器;
存储器,所述存储器存储所述处理器能够执行的代码;
其中,所述处理器用于识别所述数字图像中的结构图像;以及用增强量来增强所述数字图像,所述增强量选自针对所述结构图像的结构信息和所述结构图像被去除的所述数字图像。

Claims (14)

1.一种处理设备,包括:
摄像头;
显示器,所述显示器显示来自所述摄像头的数字图像;
处理器;
存储器,所述存储器存储所述处理器能够执行的代码;
其中,所述处理器用于识别所述数字图像中的结构图像;以及用增强量来增强所述数字图像,所述增强量选自针对所述结构图像的结构信息和所述结构图像被去除的所述数字图像。
2.根据权利要求1所述的处理设备,所述处理器还用来自第二电子装置的互补图像来增强所述数字图像。
3.根据权利要求1所述的处理设备,其中,根据结构数据库中的结构参考图像来识别所述结构图像。
4.根据权利要求1所述的处理设备,其中,使用应用于结构数据库的结构矢量来识别所述结构图像。
5.根据权利要求4所述的处理设备,其中,根据下列中的两个或更多个来计算所述结构矢量:电子装置位置、电子装置角度、电子装置海拔以及结构距离。
6.根据权利要求1所述的处理设备,其中,所述结构信息包括下列中的一个或更多个:结构名称、结构占有者、结构用途、结构地址、结构坐标以及结构历史。
7.根据权利要求1所述的处理设备,其中,所述结构信息包括结构模型,并且用所述结构模型来增强所述结构图像。
8.一种处理方法,包括:
通过使用处理器来识别数字图像中的结构图像,所述数字图像是在显示器上显示的、来自摄像头图像的图像;以及
用增强量来增强所述数字图像,所述增强量选自针对所述结构图像的结构信息和所述结构图像被去除的所述数字图像。
9.根据权利要求8所述的处理方法,所述处理方法还用来自第二电子装置的互补图像来增强所述数字图像。
10.根据权利要求8所述的处理方法,其中,根据结构数据库中的结构参考图像来识别所述结构图像。
11.根据权利要求8所述的处理方法,其中,使用应用于结构数据库的结构矢量来识别所述结构图像。
12.根据权利要求11所述的处理方法,其中,根据下列中的一个或更多个来计算所述结构矢量:电子装置位置、电子装置角度、电子装置海拔以及结构距离。
13.根据权利要求8所述的处理方法,其中,所述结构信息包括下列中的一个或更多个:结构名称、结构占有者、结构用途、结构地址、结构坐标以及结构历史。
14.根据权利要求8所述的处理方法,其中,所述结构信息包括结构模型,并且用所述结构模型来增强所述结构图像。
CN201510178017.0A 2014-05-09 2015-04-15 处理设备和处理方法 Active CN105096264B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US14/274,347 2014-05-09
US14/274,347 US9613460B2 (en) 2014-05-09 2014-05-09 Augmenting a digital image

Publications (2)

Publication Number Publication Date
CN105096264A true CN105096264A (zh) 2015-11-25
CN105096264B CN105096264B (zh) 2019-09-06

Family

ID=54336721

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510178017.0A Active CN105096264B (zh) 2014-05-09 2015-04-15 处理设备和处理方法

Country Status (3)

Country Link
US (1) US9613460B2 (zh)
CN (1) CN105096264B (zh)
DE (1) DE102015106816A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109716276A (zh) * 2016-06-10 2019-05-03 赫克斯冈技术中心 访问三维模型中视觉上被遮挡的元素的系统和方法

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1235323A (zh) * 1998-04-14 1999-11-17 通用电气公司 用于分析图象结构的方法和装置
US6759979B2 (en) * 2002-01-22 2004-07-06 E-Businesscontrols Corp. GPS-enhanced system and method for automatically capturing and co-registering virtual models of a site
US20040208372A1 (en) * 2001-11-05 2004-10-21 Boncyk Wayne C. Image capture and identification system and process
CN1819617A (zh) * 2005-02-01 2006-08-16 株式会社理光 基于图像特性应用边缘增强
CN101452574A (zh) * 2008-12-19 2009-06-10 深圳市恩普电子技术有限公司 一种提升超声图像质量的方法
CN101877123A (zh) * 2009-12-03 2010-11-03 北京中星微电子有限公司 一种图像增强方法和装置
CN101887518A (zh) * 2010-06-17 2010-11-17 北京交通大学 人体检测装置与方法
CN102893182A (zh) * 2010-02-22 2013-01-23 兰德马克绘图国际公司 用于建模3d地质结构的系统和方法
CN103186702A (zh) * 2011-12-30 2013-07-03 无锡睿影信息技术有限公司 一种基于虚拟软组织图像的计算机辅助检测早期肺癌结节的方法
CN103549953A (zh) * 2013-10-25 2014-02-05 天津大学 一种基于医学核磁共振影像提取微波检测乳房模型的方法
CN103714541A (zh) * 2013-12-24 2014-04-09 华中科技大学 一种利用山体轮廓区域约束识别定位建筑物的方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090265105A1 (en) * 2008-04-21 2009-10-22 Igt Real-time navigation devices, systems and methods
US9092908B2 (en) * 2012-07-13 2015-07-28 Google Inc. Sharing photo albums in three dimensional environments

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1235323A (zh) * 1998-04-14 1999-11-17 通用电气公司 用于分析图象结构的方法和装置
US20040208372A1 (en) * 2001-11-05 2004-10-21 Boncyk Wayne C. Image capture and identification system and process
US6759979B2 (en) * 2002-01-22 2004-07-06 E-Businesscontrols Corp. GPS-enhanced system and method for automatically capturing and co-registering virtual models of a site
CN1819617A (zh) * 2005-02-01 2006-08-16 株式会社理光 基于图像特性应用边缘增强
CN101452574A (zh) * 2008-12-19 2009-06-10 深圳市恩普电子技术有限公司 一种提升超声图像质量的方法
CN101877123A (zh) * 2009-12-03 2010-11-03 北京中星微电子有限公司 一种图像增强方法和装置
CN102893182A (zh) * 2010-02-22 2013-01-23 兰德马克绘图国际公司 用于建模3d地质结构的系统和方法
CN101887518A (zh) * 2010-06-17 2010-11-17 北京交通大学 人体检测装置与方法
CN103186702A (zh) * 2011-12-30 2013-07-03 无锡睿影信息技术有限公司 一种基于虚拟软组织图像的计算机辅助检测早期肺癌结节的方法
CN103549953A (zh) * 2013-10-25 2014-02-05 天津大学 一种基于医学核磁共振影像提取微波检测乳房模型的方法
CN103714541A (zh) * 2013-12-24 2014-04-09 华中科技大学 一种利用山体轮廓区域约束识别定位建筑物的方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109716276A (zh) * 2016-06-10 2019-05-03 赫克斯冈技术中心 访问三维模型中视觉上被遮挡的元素的系统和方法
CN109716276B (zh) * 2016-06-10 2022-06-14 赫克斯冈技术中心 访问三维模型中视觉上被遮挡的元素的系统和方法

Also Published As

Publication number Publication date
US20150325049A1 (en) 2015-11-12
US9613460B2 (en) 2017-04-04
CN105096264B (zh) 2019-09-06
DE102015106816A1 (de) 2015-11-12

Similar Documents

Publication Publication Date Title
CN110383274B (zh) 识别设备的方法、装置、系统、存储介质、处理器和终端
EP3099056B1 (en) Method and apparatus for displaying a light field based image on a user's device, and corresponding computer program product
US11051000B2 (en) Method for calibrating cameras with non-overlapping views
US9349152B2 (en) Image identifiers and methods and systems of presenting image identifiers
CN102369549B (zh) 用于估计物体位置的信息创建设备、用于估计物体位置的信息创建方法
CN108875492B (zh) 人脸检测及关键点定位方法、装置、系统和存储介质
CN102982579A (zh) 图像三维(3d)建模
CN112749350B (zh) 推荐对象的信息处理方法、装置、存储介质与电子设备
CN114419289B (zh) 一种基于Unity的虚拟场景货架陈列方法及系统
US9324000B2 (en) Identifying objects in an image using coded reference identifiers
CN115049731B (zh) 一种基于双目摄像头的视觉建图和定位方法
CN113610918A (zh) 位姿计算方法和装置、电子设备、可读存储介质
CN107016004A (zh) 图像处理方法及装置
Bao et al. Robust tightly-coupled visual-inertial odometry with pre-built maps in high latency situations
EP2991036B1 (en) Method, apparatus and computer program product for disparity estimation of foreground objects in images
JP6388532B2 (ja) 画像提供システムおよび画像提供方法
US10218911B2 (en) Mobile device, operating method of mobile device, and non-transitory computer readable storage medium
CN110827340A (zh) 地图的更新方法、装置及存储介质
CN105096264A (zh) 处理设备和处理方法
CN104637043B (zh) 支持像素选择方法、装置、视差值确定方法
CN114323013A (zh) 用于确定设备在场景中的位置信息的方法
KR101334980B1 (ko) 증강현실 콘텐츠 저작 장치 및 증강현실 콘텐츠 저작 방법
Zhu et al. Video stabilization based on image registration
CN106204518A (zh) 一种镜头切分方法和装置
Pollok et al. Computer vision meets visual analytics: Enabling 4D crime scene investigation from image and video data

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant