CN104238980B - 信息显示设备和信息显示方法 - Google Patents

信息显示设备和信息显示方法 Download PDF

Info

Publication number
CN104238980B
CN104238980B CN201410257956.XA CN201410257956A CN104238980B CN 104238980 B CN104238980 B CN 104238980B CN 201410257956 A CN201410257956 A CN 201410257956A CN 104238980 B CN104238980 B CN 104238980B
Authority
CN
China
Prior art keywords
image
unit
display
information
pickup
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201410257956.XA
Other languages
English (en)
Other versions
CN104238980A (zh
Inventor
樱井康树
石井庸介
大石宪儿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yokogawa Electric Corp
Original Assignee
Yokogawa Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yokogawa Electric Corp filed Critical Yokogawa Electric Corp
Publication of CN104238980A publication Critical patent/CN104238980A/zh
Application granted granted Critical
Publication of CN104238980B publication Critical patent/CN104238980B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37—Details of the operation on graphic patterns
    • G09G5/377—Details of the operation on graphic patterns for mixing or overlaying two or more graphic patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/73—Colour balance circuits, e.g. white balance circuits or colour temperature control

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Library & Information Science (AREA)
  • Computer Hardware Design (AREA)
  • Data Mining & Analysis (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)

Abstract

本发明公开了一种信息显示设备和信息显示方法，所述信息显示设备包括：图像拾取单元，其被构造为拾取图像；显示单元，其被构造为显示所述图像拾取单元拾取的图像；第一校准单元，其被构造为对所述图像拾取单元拾取的图像进行校准，以生成第一图像；第二校准单元，其被构造为对所述图像拾取单元拾取的图像进行校准，以生成第二图像；识别单元，其被构造为识别由所述第二校准单元生成的所述第二图像；显示控制单元，其被构造为依据所述识别单元的识别结果以在所述第一校准单元生成的所述第一图像上叠加附加信息的方式来在所述显示单元上显示所述附加信息。

Description

信息显示设备和信息显示方法
技术领域
本发明涉及信息显示设备和信息显示方法。
本发明申请要求2013年6月13日提交的日本专利申请第2013-124832号的优先权，其内容通过引用方式并入本文。
背景技术
近来，对人类感知的真实环境进行增强的AR(增强现实)技术的研发已经变得流行。使用AR技术的典型例子可以是诸如智能手机之类的移动终端，其在真实环境的图像上叠加取决于附属相机所拾取的图像的附加信息，并在显示设备上显示经过叠加的图像。增强现实技术可将任何类型的信息附加到真实环境的这一能力，将使得该项技术在娱乐(比如游戏)、博物馆或活动现场的引导和医疗支持方面得到多种多样的应用。
上面阐述的增强现实技术分为“基于位置的增强现实”和“基于视觉的增强现实”。“基于位置的增强现实”是一种通过使用从GPS(全球定位系统)等获得的位置信息来进行信息呈现的技术。“基于视觉的增强现实”是一种基于对相机所拾取的图像进行识别的结果来进行信息呈现的技术。“基于视觉的增强现实”进一步分为“基于标识的增强现实”和“无标识的增强现实”，其中前者通过识别称之为“标识”的预定图形来进行信息呈现，后者通过识别真实物体来进行信息呈现，无需使用“标识”。
日本未经审查的专利申请公开第2005-115500号公开了一个通过“基于标识的增强现实”进行信息呈现的设备的例子。具体来说，日本未经审查的专利申请公开第2005-115500号公开了这样一种设备：该设备对相机位置(标识与相机之间的距离)和角度(相机相对标识的角度)进行识别，通过读取标识的描述来获取与该标识的位置有关的信息，并将获取的信息叠加在相机所拾取的图像上。该专利引用还公开了将获取的信息与相机的位置和角度相匹配、并显示叠加后的图像的设备。
与增强现实技术无关的日本未经审查的专利申请公开第11-234651号公开了一种用于获取高可见度监控图像的监控摄像设备，所述监控图像上叠加了电视信号和用于高速图像处理的图像传感信号。日本未经审查的专利申请公开第11-234651号中公开的监控摄像设备包括：监控摄像单元，其被构造为获取用于图像监控的电视信号；图像传感单元，其被构造为获取用于高速图像处理的图像传感信号；以及信号添加装置，其被构造为在图像传感信号上叠加电视信号。
如上所述，增强现实技术从根本上来讲是一种将增强过的真实环境呈现(显示)给用户的技术。专利引用中公开的设备具有根据诸如拍摄对象的亮度、阴影的有无等拍摄环境来自动调整白平衡和曝光的功能。这些设备调整图像使之容易被用户查看，并且显示调整后的图像。
调整相机拾取的图像使之容易被用户查看能够为用户提高可见度而不管拍摄环境如何。但是被调整为使用户容易查看的图像并不总是适合于图像识别。基于这个原因，举个例子，上面所述的“基于视觉的增强现实”不能识别相机所拾取的图像，也不能提供附加信息。
在这些情况下，如果用户在变动移动终端装置的位置、转动移动终端装置的同时持续对拍摄对象进行拍摄，则将有可能显示附加信息。但是，将上面所述的增强现实技术用于支持工厂或车间内的现场装置的维护时，不提供附加信息将会导致工作效率的下降与错误的发生。
另一方面，调整相机所拾取的图像使之适合于图像识别将会减少附加信息无法提供的风险。然而，仍然有可能出现用户对于被调整为适合图像识别的图像不容易识别的情况。上述显示叠加后的图像的方法可能引起可见度低，进而提高了图像和附加信息不易被用户识别的风险，可能导致工作效率的下降和一些错误的发生。
发明内容
信息显示设备可以包括：图像拾取单元，其被构造为拾取图像；显示单元，其被构造为显示图像拾取单元拾取的图像；第一校准单元，被构造为校准图像拾取单元拾取的图像以生成第一图像；第二校准单元，其被构造为校准图像拾取单元拾取的图像以生成第二图像；识别单元，其被构造为识别第二校准单元生成的第二图像，以及显示控制单元，其被构造为依据识别单元的识别结果以在第一校准单元生成的第一图像上叠加附加信息的方式来在显示单元上显示附加信息。
附图说明
图1是示出了根据本发明第一实施例的使用中的信息显示设备的示图。
图2是根据本发明第一实施例的信息显示设备的主要部分的框图。
图3是示出了本发明第一实施例中使用的示例性标识的示图；
图4是示出了本发明第一实施例中的信息显示设备10的操作的流程图。
图5是示出了本发明第一实施例中的校准参数的示例性调整的示图。
图6是根据本发明第二实施例的信息显示设备的主要部分的框图。
图7是示出了本发明第二实施例中的调整方法的示图。
具体实施方式
这里将参照说明性优选实施例来描述本发明。本领域技术人员将会发现利用本发明的教导还可以实现许多可选的优选实施例，并且本发明不局限于本文中示出的用于说明目的的实施例。
以下将参照附图对根据本发明实施例的信息显示设备和信息显示方法作详细描述。
(第一实施例)
图1是示出了根据本发明第一实施例的使用中的信息显示设备的示图。如图1所示，本实施例的信息显示设备10由诸如用户之类的工作人员W操作。在工作人员W维护现场装置D1～D3时，信息显示设备10为维护现场装置D1～D3的工作人员W提供这三个现场装置D1～D3的工作支持信息(附加信息)。上面所述的工作支持信息是任何类型的能够支持工作人员W对现场装置D1～D3进行维护的信息。在本实施例中，工作支持信息可以是但不局限于一组唯一地分配给现场装置D1～D3中的每个的标签信息(识别信息)。接下来的描述都假定工作支持信息是一组标签信息。
现场装置D1～D3的每一个都可以是以下装置中的任何一个：流量计、诸如温度传感器之类的传感器单元、诸如流量控制阀或开关阀之类的阀门单元、诸如风扇或马达之类的致动器单元、诸如用于拍摄工厂内环境和物件的图像的照相机和摄像机之类的图像拾取单元、诸如麦克风和扬声器之类的用于收集工厂内的异常噪声和发出警报声的音频单元、用于输出现场装置的位置信息的位置检测单元、以及工厂内设置的其它单元。举个例子，现场装置D1～D3执行符合诸如ISA100.11a或WirelessHART(注册商标)之类的标准的无线通信，或者通过工厂内铺设的有线网络进行有线通信。标记为P1的圆柱形标识表示诸如箱柜之类的其中设置有现场装置D1～D3的设施。
信息显示设备10显示叠加在图像G1上的图像G2。图像G1是已由相机11拾取然后经过白平衡和曝光调整的图像。图像G2表示标签信息，该标签信息是现场装置D1的工作支持信息。信息显示设备10通过“基于视觉的增强现实”中的“基于标识的增强现实”来提供信息。信息显示设备10识别置于现场装置D1～D3上的标识(预定的参照图像)，然后根据识别的标识来生成表示标签信息的图像G2。所述标识将会详细描述。
如图1所示的例子中，在触控面板12上显示的图像G1是对现场装置D1成像所得到的图像(相机11的视野F中的图像)。图像G2是作为现场装置D1的标签信息的气泡形标识“装置01”的图像。按照工作人员W的操作，信息显示设备10通过网络(未示出)向服务器设备(未示出)发送对现场装置D1的设置和管理指示。工作人员W输入用户名和密码以使用信息显示设备10.
图2是根据本发明第一实施例的信息显示设备的主要部分的框图。如图2所示，信息显示设备10包括传感器13(第一校准单元)、存储器14、无线通信装置15、控制装置16以及相机11(成像单元)和触控面板12(显示单元)。相机11可以包括CCD(电荷耦合器件)、COMS(互补金属氧化物半导体)等。相机11既能拍摄静止图片也能拍摄运动图片。触控面板12可以包括触摸屏，使得操作员无需使用鼠标或触摸板等中间装置而直接与显示图像进行交互。触控面板12可以被构造为具有显示器(比如液晶显示器或电致发光显示器)功能结合定点设备的功能。
传感器13可以是安装于信息显示设备10壳体上的亮度传感器。例如，传感器13可以在用相机11拾取图像期间用于检测拍摄环境的亮度。对于传感器13，可以采用使用了光电二极管、光电晶体管或光敏电阻的亮度传感器。存储器14可以由诸如半导体存储器或HDD(硬盘驱动器)之类的存储装置来实现。存储器14中储存了控制装置16使用的多种信息。在控制装置16的控制下，无线通信装置15执行符合诸如Wi-Fi(注册商标)、WiMAX(注册商标)、或3G/LTE(注册商标)之类的无线通信标准的无线通信。
控制装置16生成代表现场装置D1～D3的标签信息的图像G2。控制装置16将图像G2叠加到图像G1上，然后在触控面板12上显示叠加过的图像(见图1)。图像G1是由相机11拾取的图像，然后经过白平衡和曝光调整。图像G2表示现场装置D1～D3的标签信息。控制装置16利用传感器13的检测结果对相机11拍摄的图像G1进行校准，使之适合在触控面板12上显示。同时，控制装置16还对图像G1进行校准使之适合进行生成图像G2所需的图像识别。
控制装置16按照工作人员W在触控面板12上的操作，在触控面板12上显示用于指定现场装置D1～D3的设置和管理的指定屏幕。控制装置16还通过网络(未示出)将根据操作指定屏幕得到的指定发送到服务器设备(未示出)。鉴于本实施例的信息显示设备10在显示图像G1和图像G2的过程中具有特征，故略去对现场装置D1～D3的设置和管理的具体说明。
控制装置16包括图像校准单元21a、图像校准单元21b、校准参数调节单元22a、校准参数调节单元22b、物体识别单元23、支持信息管理单元24、叠加图像生成单元25、以及显示控制单元26。控制装置16的CPU(中央处理单元)通过运行程序来实现图像校准单元21b、校准参数调节单元22b、物体识别单元23、支持信息管理单元24、和叠加图像生成单元25。
图像校准单元21a对相机11拾取的图像进行校准，并输出适合触控面板12显示的图像(第一图像)。具体而言，图像校准单元21a利用校准参数调节单元22a调节的校准参数来对白平衡和曝光进行校准。图像校准单元21b对相机11拾取的图像进行校准，并输出适合识别单元23进行图像识别处理的图像(第二图像)。具体而言，图像校准单元21b利用校准参数调节单元22b调节的校准参数来对白平衡和曝光进行校准。
校准参数调节单元22a根据拍摄环境对图像校准单元21a要用到的校准参数进行调整，使得在触控面板12上显示高可见度的图像。例如，校准参数调节单元22a预先读出存储在存储器14中的校准表。校准表是指定从传感器13输出的检测信号与用于显示高可见度图像的校准参数之间的关系的表。校准参数调节单元22a从校准表中获取与从传感器13输出的检测信号对应的校准参数。另外，校准参数调节单元22a还对图像校准单元21a要用到的校准参数进行调整。
校准参数调节单元22b对图像校准单元21b要用到的校准参数进行调整，使得置于现场装置D1～D3上的标识能够被物体识别单元23识别。具体而言，校准参数调节单元22b根据置于现场装置D1～D3上的标识是否被识别来调整校准参数。例如，校准参数调节单元22b逐渐增大或减小图像校准单元21b要用到的校准参数，直到标识能够被物体识别单元23识别为止。换句话说，在标识无法被物体识别单元23识别时，校准参数调节单元22b就要逐渐改变图像校准单元21b要用到的校准参数。
物体识别单元23对从图像校准单元21b输出的图像进行识别，并识别出该图像中的标识。图3是示出了本发明第一实施例中使用的示例性标识的示图。例如，如图3所示，标识M是一个盘状板，其包括矩形标识部分m1及布置在矩形标识部分m1内的标识部分m2。标识部分m1和标识部分m2布置在盘状板的同一侧。标识部分m1是使识别标识M快速且容易识别的图形。标识部分m2代表唯一地分配给每个标识M的信息。在图3中，尽管为了阐述的简便而采用一个字母“A”作为标识部分m2，但是标识部分m2还可以选用多个字母、图形或者字母和图形的组合等。
物体识别单元23执行边缘提取处理、矩形识别处理和模式匹配处理，使得物体识别单元23可以识别标识M。边缘提取处理是一种用于提取边缘的处理，图形校准单元21b输出的图像的亮度在边缘处发生剧变。矩形识别处理用于从边缘提取处理所提取出的边缘中识别矩形标识部分m1。
模式匹配处理是这样一种处理：其用于将存储在存储器14中的标识部分m2的模板图像与标识区域R的图像相比较，其中标识区域R四周被矩形识别处理中识别出来的标识部分m1围绕，然后确定标识区域R的图像与模板图像是否匹配。在模式匹配处理中，举个例子，物体识别单元23计算标识部分m2的模板图像与标识区域R的图像之间的相关性，使得物体识别单元23可以确定标识区域R的图像与模板图像是否匹配。比如，无线通信装置15与服务器(未示出)通信，使得模式匹配中用到的模板图像可以得到更新。
支持信息管理单元24对标签信息进行管理，该标签信息即是现场装置D1～D3的支持信息。具体而言，如果物体识别单元23识别出标识M的图像，支持信息管理单元24则根据物体识别单元23的识别结果从存储器14中读出标签信息。另外，支持信息管理单元24还生成从存储器14读出的标签信息的图像G2。例如，无线通信装置15从服务器(未示出)接收标签信息，并把标签信息提供给支持信息管理单元24，使得支持信息管理单元24可以用无线通信装置15提供的标签信息来取代存储在存储器14中的标签信息。
叠加图像生成单元25将支持信息管理单元24生成的图像G2叠加到图像校准单元21a输出的图像G1上，并生成叠加图像。图像G1是相机11拾取的图像，并经过白平衡和曝光调整。显示控制单元26控制触控面板12，以及利用触控面板12执行输入处理。具体来说，显示控制单元26在触控面板12上显示由叠加图像生成单元25生成的叠加图像。另外，显示控制单元26还根据工作人员W对触控面板12的操作将工作人员W的指定发送给控制装置16。
接下来是对信息显示设备10的描述。图4是示出了本发明第一实施例中的信息显示设备10的操作的流程图。第一实施例中的信息显示设备10具有普通显示模式和叠加图像显示模式。在普通显示模式中，将相机11拾取的图像没有任何叠加地显示在触控面板12上。在叠加图像显示模式中，将叠加图像显示在触控面板12上。例如，在操作触控面板12的工作人员W设定了叠加图像显示模式后启动图4的流程图。图4的流程图以固定的时间间隔循环，例如约0.05秒至0.5秒。
当信息显示设备10设定为叠加图像显示模式时，相机11进行拍摄(步骤S11)。工作人员W操作信息显示设备10，使得相机11朝向置于工厂内的现场装置D1。如图1所示，相机11拍摄视野F内的现场装置D1的图像。将相机11拾取的图像分别输出到控制装置16的图像校准单元21a和图像校准单元21b。
当相机11拾取的图像被输入到图像校准单元21a时，校准该图像使之适合在触控面板12上显示，校准后的图像从图像校准单元21a输出(步骤S12)。具体来说，校准参数调节单元22a根据从传感器13输出的检测信号来调节校准参数。图像校准单元21a通过使用经校准参数调节单元22a调节过的校准参数来对从相机11输入的图像进行白平衡和曝光调整。图像校准单元21a还将校准过的图像输出。
当相机11拾取的图像被输入到图像校准单元21b时，校准该图像使之适合于物体识别单元23的识别处理，然后校准过的图像从图像校准单元21b输出(步骤S13)。具体来说，校准参数调节单元22b设定校准参数的默认值。图像校准单元21b利用经校准参数调节单元22b调节过的校准参数对从相机11输入的图像进行白平衡和曝光调整。图像校准单元21b还将校准过的图像输出。步骤S13的处理可以在步骤S12之前执行，也可以与步骤S12并行执行。
然后，物体识别单元23执行识别处理来对从图像校准单元21b输出的图像进行识别(步骤S14)。具体来说，物体识别单元23执行边缘提取处理以将从图像校准单元21b输出的图像的亮度发生剧变的边缘提取出来。另外，物体识别单元23还执行矩形识别处理，以从边缘提取处理中提取的边缘中识别出矩形标识部分m1(如图3所示)。
接下来，物体识别单元23执行模式匹配处理，来比较存储在存储器14中的标识部分m2的模板图像和标识区域R的图像(如图3所示)，然后判定标识区域R的图像与模板图像是否匹配。在模式匹配处理中，例如，物体识别单元23计算模板图像和标识区域R的图像之间的相关性。另外，物体识别单元23判定所计算的相关系数是否超过预定的阈值(比如，从0.8至0.9)。
物体识别单元23的识别处理结束后，控制装置16判定识别是否成功(步骤S15)。例如，根据所计算的相关系数是否超过预定的阈值来执行判定。如果识别处理不成功(步骤S15的判定结果是“否”)，则控制装置16控制校准参数调节单元22b来改变图像校准单元21b中要用到的校准参数(步骤S16)。例如，校准参数调节单元22b以校准参数最大变化量的5％～10％来增大或减小校准参数。
校准参数的调节处理结束后，显示控制单元26在触控面板12上显示图像(步骤S17)。如果物体识别单元23的识别过程不成功(步骤S15的判定结果是“否”)，则不能获取作为支持信息的标签信息。因此，从图像校准单元21a输出的图像显示在触控面板12上而没有被图像生成单元25叠加标签信息。由于这个原因，触控面板12上只显示图像G1，如同普通显示模式的情况。图像G1是由相机11拍摄的图像，其白平衡和曝光经过了校准。图像在触控面板12上显示之后，图4中示出的流程图的处理结束。
经过一段时候后，图4中示出的流程图的处理启动，从步骤S11至步骤S15的处理重新执行。如果识别处理不成功(步骤S15的判定结果是“否”)，则控制装置16再次控制校准参数调节单元22b改变图像校准单元21b中要用到的校准参数(步骤S16)。通过这种方式，只要步骤S15的判定结果是“否”，校准参数调节单元22b就重复用于改变校准参数的处理。逐渐调节图像校准单元21b中要用到的校准参数。
图5是示出了本发明第一实施例中的校准参数的示例性调整的示图。如图5所示，相机11拾取的图像的曝光在曝光校准值“0”～“20”内可调。调整曝光的校准参数范围是“0”～“20”。在校准参数调节单元22a和校准参数调节单元22b中，校准参数是可调的。
另外，如图5中的范例所示，使相机11拾取的图像适合在触控面板12上显示的曝光校准值是“6”，使相机11拾取的图像适合图像识别的曝光校准值的范围是“10”～“16”。换句话说，当校准参数调节单元22b将用于调整曝光的校准参数设定在“10”～“16”的范围内时，图像识别将有很大概率成功。
如上所述，当步骤S15的判定结果是“否”时，校准参数调节单元22b重复用于改变校准参数的处理(步骤S16)。如图5所示，如果图像校准单元21b中使用的用于调整曝光的校准参数的默认值设定为“20”时，校准参数调节单元22b依次执行将该值减“2”的处理。在减值处理中，校准参数调节单元22b将校准参数改为“18”，下次则改为“16”。在本实施例中，曝光校准值(校准参数)是逐渐调节(减小)的。就是说，改变曝光校准值从而使相机11拾取的图像适合在触控面板12上显示。
实施例的上述描述都是以校准参数的默认值设定为“20”，然后在步骤S15的判定结果为“否”时将该值减“2”为例进行的。但是，校准参数的默认值和值的改变量可以任意设定。例如，如果将默认值设定为“0”，则该值每次加“2”。
另一方面，在图4所示的流程图中，如果控制装置16判定识别处理成功(步骤S15的判定结果为“是”)，则识别结果被输出到支持信息管理单元24。支持信息管理单元24根据存储器14中的识别结果获取标签信息，然后生成代表所获得的标签信息的图像G2(步骤S18)。
支持信息管理单元24生成的图像G2输出到叠加图像生成单元25。叠加图像生成单元25将图像G2叠加到从图像校准单元21a输出的图像G1上(步骤S19)。之后，显示控制单元26在触控面板12上显示该图像(步骤S17)。具体而言，由叠加图像生成单元25生成的叠加图像在触控面板12上显示。所以，如图1所示，叠加在图像G1上的图像G2显示在触控面板12上。图像G1是经过白平衡和曝光校准的图像，图像G2是依据标签信息所得的图像。
如上所述，在本实施例中，校准相机11拾取的图像使之适合在触控面板12上显示，然后输出校准过的图像(图像G1)。另外，在本实施例中，校准相机11拾取的图像使之适合于物体识别单元23中的识别处理，然后输出校准过的图像(图像G2)。进一步地，在本实施例中，基于物体识别单元23的识别结果的标签信息被叠加到图像G1上，然后叠加图像在触控面板12上显示。由于显示在触控面板12上的图像对工作人员W而言易于查看，并且输入到物体识别单元23的图像适合进行图像识别，因此既有可能提高图像对工作人员W的可见度，也能提高识别率。
另外，由于工作人员W能够识别相机11拾取的图像和作为工作支持信息的标签信息，因此有可能防止工作效率的下降和错误的发生。还有，由于CPU通过运行程序来实现图像校准单元21b、校准参数调节单元22b、物体识别单元23、支持信息管理单元24以及叠加图像生成单元25，因此可能防止生产成本的上升。
(第二实施例)
图6是根据本发明第二实施例的信息显示设备主要部分的框图。如图6所示，本实施例的信息显示设备30包括校准参数调节单元31，其代替图2所示的信息显示设备10的校准参数调节单元22b。信息显示设备30与信息显示设备10的区别之处在于对图像校准单元21b中要用到的默认值的设定方法不同。信息显示设备30能够根据物体识别单元23的识别结果来改变调节方法。
与图2所示的校准参数调节单元22b相同的是，校准参数调节单元31对图像校准单元21b中要用到的校准参数进行调节，使得物体识别单元23可以识别出置于现场装置D1～D3上的标识。校准参数调节单元31具有默认值设定表TB(表格)。校准参数调节单元31与校准参数调节单元22b的区别之处在于校准参数调节单元31通过利用默认值设定表TB来设定校准参数的默认值。
默认值设定表TB是对之前物体识别单元23的识别处理成功时的传感器13的检测结果与校准参数的设定值进行相关的表。当信息显示设备30的操作模式设为叠加图像显示模式时，校准参数调节单元31根据传感器13的检测结果从默认值设定表TB中读出校准参数，并把该校准参数设为默认值。
在校准参数调节单元31设定校准参数的默认值之后，如果设定了至少两个彼此不同的校准参数，校准参数调节单元31则根据物体识别单元23的识别结果来判定校准参数的调节方法。图7是示出了本发明第二实施例中的调节方法的示图。在本实施例中，为了阐述的简便，图像校准单元21b中用以调整曝光的校准参数默认值设为“10”。
如图7所示，例如，在校准参数调节单元31将校准参数的默认值设为“10”后，校准参数调节单元31将校准参数以“5”为步距从默认值“10”调到“5”和“15”。当校准参数被设为“5”时校准参数调节单元31获取物体识别单元23的识别结果。同样的，当校准参数被设为“15”时校准参数调节单元31也要获取物体识别单元23的识别结果。接下来，校准参数调节单元31根据各自的识别结果来判定校准参数的调节方法。例如，确定调节方法是增大校准参数还是减小校准参数。具体来说，如果选用“15”时的相关系数大于选用“5”时的相关系数，则校准参数调节单元31判定增加校准参数。
信息显示设备30与信息显示设备10的不同之处在于设定图像校准单元21b中要用到的校准参数的默认值，以及根据物体识别单元23的识别结果来改变校准参数的调节方式。但是，信息显示设备30基本上执行与图4所示的流程图的处理相同的处理。所以，在用于设定校准参数的默认值的处理和用于确定校准参数的调节方法的处理完成后，信息显示设备30执行图4所示的流程图的处理。为了避免重复相同的说明，略去对信息显示设备30的详细解释。
如上所示，在本实施例中，对相机11拾取的图像进行校准使之适合在触控面板12上显示，并且输出校准过的图像(图像G1)。同样地，在本实施例中，对相机11拾取的图像进行校准使之适合于物体识别单元23中的识别处理，并且输出校准过的图像(图像G2)。进一步，在本实施例中，依据物体识别单元23的识别结果的标签信息被叠加到图像G1上，并且叠加图像在触控面板12上显示。由于触控面板12上显示的图像对工作人员W而言易于查看，并且输入至物体识别单元23的图像适合进行图像识别，所以既有可能提高图像对工作人员W的可见度，也可提高识别率。
另外，在本实施例中，利用默认值设定表TB来设定图像校准单元21b中要用到的校准参数默认值。默认值设定表TB是对之前物体识别单元23的识别处理成功时的传感器13的检测结果与校准参数的设定值进行相关的表。在本实施例中，还根据物体识别单元23的识别结果来确定调节方法。所以，相比于第一实施例，可以更快速和更准确地将图像校准单元21b中要用到的校准参数调整为适合图像识别的曝光校准值。因此，当相机11拍摄到标识M时，将有可能立即在触控面板12上显示标签信息来作为工作支持信息。
第一实施例中的信息显示设备10和第二实施例的信息显示设备30包括相机11和触控面板12。并且，信息显示设备10和信息显示设备30都是便携式设备。例如，信息显示设备10和信息显示设备30是诸如智能手机、便携式电话、游戏机、平板电脑终端和头戴式显示器等带有摄像头的便携式终端。
尽管上文描述了根据本发明实施例的信息显示设备和信息显示方法，但是本发明并不局限于上述实施例，可以在相关范围内自由修改。例如，尽管之前实施例的描述都是信息显示设备利用“基于视觉的增强现实”中的“基于标识的增强现实”来提供信息的例子，但本发明对利用“基于视觉的增强现实”中的“无标识的增强现实”来提供信息的信息显示设备同样适用。
在上述实施例中描述了工作支持信息是标签信息。但是，信息显示设备比如还可以提供对现场装置D1～D3维修手册的维护有帮助的信息，该信息可以附有标签信息，代替标签信息，或者与标签信息有关。
同样的，在上述的第一和第二实施例中描述了信息显示设备显示标签信息作为用于支持置于工厂内的现场装置D1～D3的维护的工作支持信息。但是本发明的信息显示设备可以适用于多种用途，例如矿区的工作支持、娱乐(例如游戏)、博物馆或活动现场的引导、医疗支持等。
虽然已在上文中描述和展示了本发明的优选实施例，应该理解的是，这些只是本发明的范例，而不能当做限制。可以在不脱离本发明范围的情况下进行添加、省略、替代、以及其他修改。因此，本发明不能认为是受前述描述限制，而只受所附权利要求的范围限制。

Claims (18)

1.一种信息显示设备，包括：
图像拾取单元，其被构造为拾取图像；
显示单元，其被构造为显示所述图像拾取单元拾取的图像；
第一校准单元，其被构造为对所述图像拾取单元拾取的图像进行校准，以生成第一图像；
第二校准单元，其被构造为对所述图像拾取单元拾取的图像进行校准，以生成第二图像；
识别单元，其被构造为识别由所述第二校准单元生成的所述第二图像；以及
显示控制单元，其被构造为依据所述识别单元执行的识别的结果以在所述第一校准单元生成的所述第一图像上叠加附加信息的方式来在所述显示单元上显示所述附加信息，
其中，所述第一校准单元包括：
传感器，其被构造为检测拍摄环境的亮度；
第一调节器，其被构造为根据所述传感器执行的检测的结果来调整所述图像的校准量；以及
第一校准器，其被构造为以所述第一调节器调节的所述校准量来对所述图像拾取单元拾取的图像进行校准。
2.根据权利要求1所述的信息显示设备，其中
所述第二校准单元包括：
第二调节器，其被构造为根据所述识别单元是否识别出预定的参考图像来调节所述图像的校准量；
第二校准器，其被构造为以所述第二调节器调节的所述校准量来对所述图像拾取单元拾取的图像进行校准。
3.根据权利要求2所述的信息显示设备，其中
所述第二调节器被构造为：
存储表格，所述表格指明在所述识别单元已识别出所述参考图像时所述传感器的检测结果与所述校准量之间的关系；
从所述表格中读出依据所述传感器的检测结果的所述校准量；
将从所述表格中读出的校准量设定为所述图像的校准量的默认值。
4.根据权利要求3所述的信息显示设备，其中
在设定了至少两个彼此不同的校准量时，所述第二调节器根据所述识别单元的识别结果来确定所述图像的校准量的调节方法。
5.根据权利要求1所述的信息显示设备，其中
所述第一校准单元和所述第二校准单元中的每一个都被构造为校准所述图像的白平衡和曝光。
6.根据权利要求1所述的信息显示设备，其中
所述图像拾取单元被构造为拾取现场装置的图像。
7.根据权利要求6所述的信息显示设备，其中
所述识别单元被构造为识别置于所述现场装置上的标识。
8.根据权利要求7所述的信息显示设备，其中
所述标识包括：
用于识别所述标识的图形；以及
唯一分配给所述标识的信息。
9.根据权利要求8所述的信息显示设备，其中
所述识别单元被构造为提取所述第二校准单元生成的图像的边缘，其中在所述边缘处所述第二校准单元生成的图像的亮度发生剧变。
10.根据权利要求9所述的信息显示设备，其中
所述识别单元被构造为从所述识别单元提取的所述边缘中识别所述图形。
11.根据权利要求10所述的信息显示设备，其中
所述识别单元被构造为将预定的参考图像与唯一分配给所述标识的信息的图像相比较，并且判定所述唯一分配给所述标识的信息的图像是否匹配所述参考图像，其中所述唯一分配给所述标识的信息的图像被所述识别单元识别出的图形围绕。
12.根据权利要求6所述的信息显示设备，其中
所述附加信息包括用于支持工作人员的工作支持信息。
13.根据权利要求12所述的信息显示设备，其中
所述工作支持信息包括用于所述现场装置的维护工作的信息。
14.根据权利要求1所述的信息显示设备，还包括：
设置单元，其被构造为设置第一模式或第二模式，在所述第一模式中在所述第一图像上叠加所述附加信息，在所述第二模式中不在所述第一图像上叠加所述附加信息。
15.根据权利要求1所述的信息显示设备，还包括：
存储器，其存储所述附加信息；以及
管理单元，其被构造为管理存储在所述存储器中的所述附加信息。
16.根据权利要求15所述的信息显示设备，还包括：
通信单元，其被构造为从服务器接收附加信息，并把所述附加信息提供给所述管理单元。
17.根据权利要求16所述的信息显示设备，其中
所述管理单元被构造为接收来自所述通信单元的所述附加信息，并且用从所述通信单元提供的所述附加信息替代存储在所述存储器中的附加信息。
18.一种信息显示方法，包括：
通过图像拾取单元来拾取图像；
对所述图像拾取单元拾取的图像进行校准以生成第一图像；
对所述图像拾取单元拾取的图像进行校准以生成第二图像；
识别所述第二图像；
依据所述识别的结果，以在所述第一图像上叠加附加信息的方式来在显示单元上显示所述附加信息；
检测拍摄环境的亮度；
根据亮度的检测的结果来调整所述图像拾取单元所拾取的所述图像的校准量；以及
以所述校准量来对所述图像拾取单元拾取的图像进行校准。
CN201410257956.XA 2013-06-13 2014-06-11 信息显示设备和信息显示方法 Active CN104238980B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013-124832 2013-06-13
JP2013124832A JP5786900B2 (ja) 2013-06-13 2013-06-13 情報表示装置及び情報表示方法

Publications (2)

Publication Number Publication Date
CN104238980A CN104238980A (zh) 2014-12-24
CN104238980B true CN104238980B (zh) 2018-01-09

Family

ID=50819576

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410257956.XA Active CN104238980B (zh) 2013-06-13 2014-06-11 信息显示设备和信息显示方法

Country Status (5)

Country Link
US (1) US9704455B2 (zh)
EP (1) EP2814239B1 (zh)
JP (1) JP5786900B2 (zh)
CN (1) CN104238980B (zh)
ES (1) ES2646605T3 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6500355B2 (ja) * 2014-06-20 2019-04-17 富士通株式会社 表示装置、表示プログラム、および表示方法
CN105739868B (zh) * 2016-02-01 2019-05-14 宇龙计算机通信科技(深圳)有限公司 一种识别终端被误触的方法及装置
JP6686697B2 (ja) * 2016-05-24 2020-04-22 富士通株式会社 送信制御プログラム、送信制御方法および送信制御システム
CN110750190B (zh) * 2019-10-17 2024-01-23 辽宁中航信诺科技有限公司 基于ar设备的人工智能物体注册识别后虚拟提示信息的叠加方法
CN117156108B (zh) * 2023-10-31 2024-03-15 中海物业管理有限公司 一种用于机房设备监控画面的增强显示系统及方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005115500A (ja) * 2003-10-06 2005-04-28 Mitsubishi Electric Corp 情報処理装置及び情報処理方法
EP2397819B1 (en) * 2010-06-21 2013-05-15 Research In Motion Limited Method, device and system for presenting navigational information

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09172571A (ja) * 1995-12-21 1997-06-30 Sanyo Electric Co Ltd 画像認識装置におけるカメラパラメータ決定方法
JPH11234651A (ja) 1998-02-09 1999-08-27 Mitsubishi Electric Corp 監視カメラ装置
US9183306B2 (en) * 1998-12-18 2015-11-10 Microsoft Technology Licensing, Llc Automated selection of appropriate information based on a computer user's context
KR100630888B1 (ko) * 2004-11-23 2006-10-04 삼성전자주식회사 이미지 암부인식률 개선을 위한 장치 및 방법
JP4694424B2 (ja) * 2006-06-21 2011-06-08 三菱電機株式会社 認証装置
JP5119636B2 (ja) * 2006-09-27 2013-01-16 ソニー株式会社 表示装置、表示方法
JP4893388B2 (ja) * 2007-03-13 2012-03-07 トヨタ自動車株式会社 車両用撮像装置
US8903430B2 (en) * 2008-02-21 2014-12-02 Microsoft Corporation Location based object tracking
JP2010118019A (ja) * 2008-11-14 2010-05-27 Sharp Corp 端末装置、配信装置、端末装置の制御方法、配信装置の制御方法、制御プログラムおよび記録媒体
JP5049300B2 (ja) 2009-01-20 2012-10-17 クラリオン株式会社 障害物検出表示装置
JP5609080B2 (ja) * 2009-11-30 2014-10-22 富士通株式会社 画像処理装置、画像表示装置、画像処理プログラム及び画像処理方法
US8400548B2 (en) * 2010-01-05 2013-03-19 Apple Inc. Synchronized, interactive augmented reality displays for multifunction devices
JP5480672B2 (ja) * 2010-03-03 2014-04-23 キヤノン株式会社 撮像装置及びその制御方法
EP2439676A1 (en) * 2010-10-08 2012-04-11 Research in Motion Limited System and method for displaying text in augmented reality
KR101714050B1 (ko) 2010-11-01 2017-03-08 삼성전자주식회사 휴대단말기의 데이터 표시장치 및 방법
JP5750262B2 (ja) * 2010-12-17 2015-07-15 株式会社サムスン日本研究所 撮像装置及び撮像方法
JP5014494B2 (ja) * 2011-01-21 2012-08-29 パナソニック株式会社 情報処理装置、拡張現実感システム、情報処理方法、及び情報処理プログラム
US10133950B2 (en) 2011-03-04 2018-11-20 Qualcomm Incorporated Dynamic template tracking
US9824474B2 (en) * 2012-07-11 2017-11-21 Commscope Connectivity Uk Limited Method of capturing information about a rack and equipment installed therein
US9094616B2 (en) * 2012-10-16 2015-07-28 Vidinoti Sa Method and system for image capture and facilitated annotation

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005115500A (ja) * 2003-10-06 2005-04-28 Mitsubishi Electric Corp 情報処理装置及び情報処理方法
EP2397819B1 (en) * 2010-06-21 2013-05-15 Research In Motion Limited Method, device and system for presenting navigational information

Also Published As

Publication number Publication date
US20140368541A1 (en) 2014-12-18
EP2814239B1 (en) 2017-08-09
US9704455B2 (en) 2017-07-11
EP2814239A3 (en) 2015-03-04
JP2015001779A (ja) 2015-01-05
JP5786900B2 (ja) 2015-09-30
EP2814239A2 (en) 2014-12-17
ES2646605T3 (es) 2017-12-14
CN104238980A (zh) 2014-12-24

Similar Documents

Publication Publication Date Title
CN104238980B (zh) 信息显示设备和信息显示方法
KR101977703B1 (ko) 단말의 촬영 제어 방법 및 그 단말
US9665986B2 (en) Systems and methods for an augmented reality platform
US9727298B2 (en) Device and method for allocating data based on an arrangement of elements in an image
CN105338333B (zh) 一种控制图像白平衡方法及电子设备
JP2015115839A5 (zh)
CN108848313B (zh) 一种多人拍照方法、终端和存储介质
EP3460745B1 (en) Spherical content editing method and electronic device supporting same
US7124053B2 (en) Image processing method and apparatus therefor
US10201306B2 (en) Method and system for capturing images for wound assessment with self color compensation
CN110472460A (zh) 人脸图像处理方法及装置
KR20180036463A (ko) 이미지 처리 방법 및 이를 지원하는 전자 장치
WO2018117681A1 (ko) 이미지 처리 방법 및 이를 지원하는 전자 장치
CN109410890A (zh) 显示控制方法、装置和电子设备
CN108462832A (zh) 用于获取图像的方法及装置
KR102423364B1 (ko) 영상을 제공하는 방법 및 이를 지원하는 전자 장치
CN115525140A (zh) 手势识别方法、手势识别装置及存储介质
CN106488113B (zh) 摄像装置、记录指示装置、图像记录方法及记录指示方法
US10685216B2 (en) Method for collecting facial information and related devices
CN107949848B (zh) 数字图像中的缺陷检测和校正
GB2588306A (en) Image processing system, imaging device, image processing device, electronic device, control method thereof, and storage medium storing control method thereof
CN109983756A (zh) 拍摄调整信息导出装置、拍摄装置、拍摄调整信息导出方法、控制程序以及记录介质
CN111540060A (zh) 增强现实设备的显示校准方法、装置、电子设备
CN110008671B (zh) 数据校验方法及装置
JP6673265B2 (ja) 情報処理装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant