CN105867612B - 显示管理方法和关联计算机程序产品及电子设备 - Google Patents

显示管理方法和关联计算机程序产品及电子设备 Download PDF

Info

Publication number
CN105867612B
CN105867612B CN201610081191.8A CN201610081191A CN105867612B CN 105867612 B CN105867612 B CN 105867612B CN 201610081191 A CN201610081191 A CN 201610081191A CN 105867612 B CN105867612 B CN 105867612B
Authority
CN
China
Prior art keywords
information
rich
interest
electronic device
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610081191.8A
Other languages
English (en)
Other versions
CN105867612A (zh
Inventor
D.莫兰德
T.梅夫塔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Schneider Electric Industries SAS
Original Assignee
Schneider Electric Industries SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Schneider Electric Industries SAS filed Critical Schneider Electric Industries SAS
Publication of CN105867612A publication Critical patent/CN105867612A/zh
Application granted granted Critical
Publication of CN105867612B publication Critical patent/CN105867612B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/18—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form
    • G05B19/406—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form characterised by monitoring or safety
    • G05B19/4069—Simulating machining process on screen
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/32—Operator till task planning
    • G05B2219/32014—Augmented reality assists operator in maintenance, repair, programming, assembly, use of head mounted display with 2-D 3-D display and voice feedback, voice and gesture command
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20101—Interactive definition of point of interest, landmark or seed

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

提供了用于管理与装置有关的至少一个信息项在电子设备(2)的屏幕上的显示的方法、计算机程序产品及电子设备。所述方法包括如下步骤：a)提供该装置的丰富图像，该丰富图像包括该装置的图像和该装置的兴趣点，b)从多个兴趣点中选择至少一个兴趣点，以获得一组所选兴趣点，c)选择要显示的信息，d)提供对装置可用的装置的一组图，e)通过将要显示的信息的预览插入可用的装置的每个图中，根据预定义准则，优化装置的图，以至少获得丰富示意表示，f)根据预定义准则对所述丰富示意表示进行分类，以及h)显示所获得的丰富示意表示的至少一个，以代替所述丰富图像。

Description

显示管理方法和关联计算机程序产品及电子设备
技术领域
本发明涉及一种用于管理与一个装备或者装置有关的至少一个信息项在电子设备的屏幕上的显示的方法。本发明还涉及一个实施该方法的计算机程序产品和实施该计算机程序产品的电子设备。
背景技术
在多个工业领域，公知将虚拟模型叠加在电子设备所获取的一个工业装备或者装置的图像上。这种叠加能够以关于工业装置的信息已经叠加在其上或与其者关联的新图像的形式显示于电子设备的屏幕上。因此，这种图像称为丰富(enriched)图像。这种显示方法通常以增强现实的名称所公知。
在这方面，例如，文献FR-A-2990286公开了指出存在信息项的装置的部件的兴趣点。该文献还披露将兴趣点定位于关于装置的部件而获取的图像上的可能性。
还已知下面的文献：文献US-A-2011/0115816、以及Sanghoon Lee等人编写的文章：《Augmented reality-based computational fieldwork support for equipmentoperations and maintenance》,Automation In Construction,第20卷,第4号,2010年11月4日,第338-352页,DOI:10.1016/J.AUTCON.2010.11.004；和Hugo Alvarez等人编写的文章：《Providing guidance for maintenance operations using automatic markerlessAugmented Reality system》,10TH IEEE International Symposium On Mixed AndAugmented Reality,2011年10月26日,第181-190页,DOI:10.1109/ISMAR.2011.6092385。
还已知从增强现实的显示模式转到部件的枚举和在丰富图像上标识的信息。在这种方式中，以列表的形式简单地拟定(draw up)信息。然而，未提供所考虑的工业装置的虚拟表示，这无助于考虑并且分析显示的数据。
需要一种有助于访问与用户有关的信息的显示管理方法。
发明内容
为此，本发明的主题是一种用于管理与装置有关的至少一个信息项在电子设备的屏幕上的显示的方法，该方法包括如下步骤：
a)提供该装置的丰富图像，该丰富图像包括该装置的图像和该装置的兴趣点，每个兴趣点与该装置的元件所特定的信息项关联，
b)从多个兴趣点中选择至少一个兴趣点，以获得一组所选兴趣点，
c)选择要显示的信息，要显示的信息是与所选兴趣点关联的信息，
d)提供对该装置可用的该装置的一组图，
e)通过将要显示的信息的预览插入可用的该装置的每个图中，根据预定义准则，优化该装置的图，以至少获得不同于所述丰富图像、并且包括该装置的图和要显示的信息项之一的至少一个预览的丰富示意表示，其中，该预览与该图兼容，
f)根据预定义准则对所述丰富示意表示进行分类，以及
h)显示所获得的丰富示意表示的至少一个以代替该丰富图像。
由于本发明，显示管理方法提供在该装置上标识的信息的至少一个丰富示意表示。该表示尤其更为示意性的，并因此提供一种用于分析标识信息的简化方法。
根据本发明的有利的但并非强制性的方面，这种显示管理方法包括根据所有技术上可接受的组合而获得的以下特征中的一个或多个：
－该方法还包括选择数据的步骤g)，该数据不是与所选兴趣点关联的信息，并且电子设备可以访问该数据，要显示的信息还包括所选数据。
－所选数据源自电子设备的至少一个传感器。
－优化步骤e)包括以格(lattice)的形式排序要显示的信息。
－优化步骤e)包括使用选择过滤器。
－优化步骤e)包括使用使信息的唯一预览与每个兴趣点关联的关联阵列，其中兴趣点与该信息关联。
－该方法还包括显示根据预定义准则的值排序的丰富示意表示的步骤h)。
－该方法还包括显示表示预定义准则的最高值的丰富示意表示。
－至少一个步骤由用户的动作触发。
－用户的动作是绕着垂直于电子设备的屏幕的轴旋转电子设备，并且电子设备包括至少一个致动按钮或者触摸按钮，并且用户的动作是按压致动按钮或者触摸按钮。
本发明的主题还是一种计算机程序产品，该计算机程序产品包括软件指令，该软件指令当由并入电子设备中的信息处理单元实施时实施如上所述的方法。
本发明的主题还是一种电子设备，该电子设备包括：检测器；一组传感器；屏幕；使数据显示于屏幕上的单元；以及信息处理单元，在该信息处理单元上，实施如上所述的计算机程序产品。
附图说明
根据下面参考附图而仅作为非限制性例子给出的描述，能够更好地理解本发明并且本发明的其他优点将更加显而易见，其中：
图1是电子设备的例子的示意表示；
图2是装置的例子的示意图；
图3是图1的电子设备和计算机程序产品的例子的示意图；
图4是图3中表示的计算机程序产品的详细示意图；
图5是显示管理方法的例子的流程图；
图6是在提供了图2中的装置的丰富图像之后获得的结果的示意图；
图7是用户的动作的示意图；以及
图8是在显示了丰富示意表示之后获得的结果的示意图。
具体实施方式
在图1和2中分别表示了电子设备2和装置4。
电子设备2是用于用户的。
优选地，电子设备2是便携式电子设备，例如，移动电话或者电子平板电脑。
作为变型，电子设备2是计算机。
电子设备2能够实施计算机程序产品，该计算机程序产品包括用于执行显示管理方法的软件指令。
电子设备2包括：检测器20、一组传感器21、显示单元22、屏幕24、信息处理单元26、收发机28以及电源单元30。
检测器20例如是适用于获取装置4的一个或者多个连续图像的图像传感器。
例如，检测器20是矩阵传感器，诸如CCD(电荷耦合器件)传感器或者CMOS(互补金属氧化物半导体)传感器。
检测器20适用于将获取的装置4的图像Ia传送到处理单元26，或者适用于提供所述装置4的连续图像的视频。
该组传感器21例如包括：地理定位单元211、加速度计212、陀螺仪213、触摸传感器214、眼睛运动传感器215以及麦克风216。
作为变型，该组传感器21包括上述传感器的任意组合。
根据另一变型，该组传感器21包括其他传感器，以允许访问对于用户来说可能有兴趣的其他信息。
地理定位单元211、加速度计212和陀螺仪213适用于为电子设备2提供位置数据。在其余描述中，将与电子设备2有关的位置数据称为数据D2。
例如，地理定位单元211被配置用于与地理定位系统通信，该地理定位系统例如：室内定位系统或者室外定位系统，诸如，本身已知的GPS系统(全球定位系统)。
加速度计212用于在至少一个方向上测量电子设备2的加速度。根据一种变型，加速度计212包括多个传感器，用于在三个独立方向上测量电子设备2的加速度。
陀螺仪213用于测量电子设备2沿着至少一个轴的旋转。根据一种变型，陀螺仪213包括多个传感器，用于沿着三个独立轴测量电子设备2的旋转。
触摸传感器214、眼睛运动传感器215和麦克风216适用于将与用户的命令有关的至少一个信息项发送到处理单元26。
触摸传感器214被布置在屏幕24的下面，使得屏幕24是能够显示触摸按钮和/或触摸键盘的触摸屏。
眼睛运动传感器215例如是眼睛纪录器(oculometer)，其使得能够追随用户的眼睛运动。
麦克风216用于记录用户的声音。
显示单元22能够使数据显示于屏幕24上。具体地，显示单元22适用于将任何类型的图像(尤其是检测器20所获取的图像Ia或者由处理单元26获取并随后修改的图像)显示于电子设备2的屏幕24上。显示单元22例如是用于使图像Ia显示于屏幕24上的软件程序或者图形卡。
屏幕24被配置用于显示一个或者多个连续图像，尤其与检测器20和/或者显示单元22交互地。
对于其余描述，将垂直于屏幕24的表面的轴称为法轴(normal axis)X2。
屏幕24具有可以容易地观看获取的图像Ia的尺寸，诸如，具有大于5英寸、优选地大于7英寸、更优选地大于9英寸的长度的对角线。
处理单元26适用于计算机处理信息。具体地，处理单元26适用于对所获取的图像Ia实施修改、转换和分析。
处理单元26包括处理器260和与处理器260关联的存储器262。
处理器260能够实施存储于存储器262中的一个或者多个软件指令。
电子设备2的处理单元26的存储器262能够存储数据以及计算机程序产品27。
存储器262所存储的数据例如是关于装置4的并且以文件、数值和/或者文本值的形式记录的数据D4。存储器262所存储的数据也可以是由该组传感器21提供的电子设备2的位置数据D2。
计算机程序产品27包括软件指令，当处理单元26实施该软件指令时，该软件指令实施显示与装置4有关的信息项I4的方法。
如图3中可见，计算机程序产品27包括第一软件指令272、第二软件指令274以及第三软件指令275。
第一软件指令272例如是使得以增强现实方式显示的软件指令。
通过将多个兴趣点P与所获取的图像Ia关联，第一增强现实软件指令272能够提供装置4的丰富图像Ie。每个兴趣点P指示装置4的元件，并且与有关元件所特定的信息项IP关联。兴趣点P例如是数字数据项Dp，诸如文本值、测量值、图像、图形构件(graphicalwidget)(图形界面部件、图形界面的视觉元件、或者按钮、滚动条、下拉菜单，等等)、超文本链接或者用于以增强现实显示的任何其他相关数据。
第二软件指令274例如是使得以传统方式显示的软件指令。
第二软件指令274能够提供装置4的丰富图像Ie的丰富示意表示Re。
丰富示意表示Re例如是图画、曲线图、模型、人机界面、或者诸如SCADA(数据采集与监控系统)模拟图的模拟图。丰富示意表示Re包括多个对象O。
作为一种变型，如果丰富示意表示Re是人机界面或者模拟图，则其也可以不包括对象O。
每个对象O指示装置4的元件，并且与丰富图像Ie的相应兴趣点P关联。因此，每个对象O与有关元件所特定的信息项IO关联。
对象O例如是数字数据项DO，诸如，文本值、测量值、图像、超文本链接或者用于以传统模式显示的任何其他相关数据。
如图4中可见，第二软件指令274包括选择软件指令276、准备软件指令277、分类软件指令278和预览软件指令279。
选择软件指令276被配置用于检索与要显示的兴趣点P关联的信息IP。
准备软件指令277能够提供装置4的一组图。
装置4的图是描述装置4的二维视图或者三维视图。每个图包括要显示的信息I4的预览。
准备软件指令277还能够根据预定义准则C优化装置4的每个图，以便获得丰富示意表示Re。
预定义准则C例如由用户选择。于是，预定义准则C表示由用户表达的关于丰富示意表示Re的命令。于是，预定义准则C可以是“示出最感兴趣点P的图”或者“示出具有要显示的最多信息的兴趣点P的图”。用户可以考虑其他准则C。
分类软件指令278被配置用于根据同一准则C分类或者排序丰富示意表示Re。
预览软件指令279能够显示示出预定义准则C的最高值的丰富示意表示Re。
作为一种变型，预览软件指令279能够显示由用户选择的丰富示意表示Re。
第三软件指令275是执行软件指令，其被配置用于使丰富图像Ie的兴趣点P与丰富示意表示Re的每个对象O关联。第三软件指令275由第二软件指令274控制。
收发机28例如是天线。天线28被配置用于在电子设备2与电子设备2外部的至少一个单元之间建立双向无线电通信。这种外部单元能够传递关于装置4的信息I4。
外部单元例如是位于装置4外的其他位置的服务器6，还称为远程服务器。服务器6尤其在图1中表示。
作为一种变型，服务器6例如以局域网将服务器6连接到装置4的方式位于装置4的附近。
作为又一种变型，多个外部单元能够传递关于装置4的信息I4。外部单元例如是远程和/或本地服务器。
电源单元30被配置用于将电能供给检测器20、该组传感器21、显示单元22、屏幕24、处理单元26以及收发机28。
电源单元30例如是电池。这种电池优选地可充电。
装置4例如是泵站。泵站4包括管道40、泵42、电动机、传感器(未示出)、以及包括变速驱动器、控制器和致动器的保护柜(未示出)。
服务器6包括数据库60、和用于将数据发送到电子设备2的单元62。
数据库60适用于存储与装置4有关的数据D4，特别是，与管道40、泵42和该图未示出的其他部件的状态和操作有关的数据。所存储的数据D4例如是每个电动机消耗的电功率、每个管道40的温度、每个泵42的压力、以及每个部件存在还是不存在操作故障。
此外，以诸如SCADA模拟图、人机界面或者因特网页面的丰富示意表示Re的形式显示所存储的数据D4。
发送单元62被配置用于将存储于数据库60中的与装置4有关的数据D4发送到电子设备2。
在以下对显示方法的实施例子的描述中，解释电子设备2和计算机程序产品27的操作。
如下所述，由用户的动作触发显示管理方法的每个步骤。用户的动作例如是绕着法轴X2旋转电子设备2、或者按压电子设备2的致动按钮、或者借助触摸传感器214按压屏幕24上的触摸按钮。
用户使用电子设备2提取关于装置4的多个信息。然后，用户在电子设备2上启动(launch)计算机程序产品27。产品27实施显示管理方法。该方法包括多个步骤，如图5所示并且如下面的描述中所解释的。
该显示方法包括第一步骤a)：提供包括获取的装置4的图像Ia和装置4的兴趣点P的装置4的丰富图像Ie。
步骤a)由处理单元26实施。
作为一种变型，在步骤a)中，将装置4的丰富图像Ie提供给处理单元26，然后，处理单元26分析兴趣点P。当模式发生变化时动态地执行该分析，或者，静态地，特别是在屏幕24冻结之后，执行该分析。
具体地，在步骤a)期间，处理单元26启动第一软件指令272。
根据一个实施例，电子设备2通过地理定位识别装置4。电子设备2利用地理定位单元211，计算装置4的坐标以及装置4的定向(orientation)。作为例子，所计算的坐标是GPS坐标。然后，电子设备2经由其天线28，通过发送单元62与服务器6的数据库60建立无线电通信。
然后，将电子设备2的GPS坐标和定向发送到识别装置4的服务器6。
作为一种变型，通过辨识装置4的图像来识别装置4。换句话说，电子设备2利用检测器20获取装置4的图像Ia或者连续图像。然后，将一个或者多个图像发送到识别装置4的服务器6。
作为又一种变型，利用装置4上存在的唯一代码，识别装置4。唯一代码例如是二维识别码、条形码、识别图像或者符号、还称为矩阵码的QR(快速响应)码、或者可以明确识别装置4的任何其他手段。换句话说，电子设备2利用检测器20获取唯一代码的图像，然后，将该图像发送到服务器6，用以识别装置4。
当服务器6已经识别了装置4时，服务器6将与所识别的装置4上存在的兴趣点P有关的信息IP发送到电子设备2。然后，显示单元22将多个兴趣点P显示于所获取的图像Ia上，所获取的图像Ia变成丰富图像Ie。如上所述，每个兴趣点P与用户可以访问的、装置4的元件所特定的信息项IP关联。
作为一种变型，在步骤a)中，提供装置4的连续的丰富图像(例如视频)，包括装置4的获取的连续图像和装置4的兴趣点P。然后，如上所述地识别装置4。具体地，当服务器6已经发送了与兴趣点P有关的信息IP时，显示单元22将多个兴趣点P显示于获取的连续图像上，获取的连续图像变成连续的丰富图像。
在步骤a)结束时，计算机程序产品27已经以增强现实方式提供了装置4的视图。例如，如图6中所示，借助于显示单元22，丰富图像Ie显示于电子设备2的屏幕24上。丰富图像Ie包括获取的装置4的一部分的图像Ia和已经在装置4的该部分上标识的兴趣点P。具体地，在丰富图像Ie上，可以看到两个泵42、管道40和四个兴趣点P。在这种情况下，兴趣点P是故障消息、包括由装置4的传感器进行的测量的两个消息、以及与装置4的部件的操作有关的文本消息。
然而，用户希望从增强现实的视图变更为传统模式的视图。为此，用户使电子设备2绕着法轴X2旋转例如90度，如图7中所示。用户的该动作启动第三软件指令274。
然后，该方法包括步骤b)：从多个兴趣点P中选择至少一个兴趣点P以获得一组所选兴趣点。
选择步骤b)由用户与电子设备2交互地实施。
具体地，用户选择用户希望保持的兴趣点P。例如，参考图6，用户选择与故障消息和具有测量的消息有关的兴趣点P。可以手动地(例如，利用屏幕24上的触摸传感器214、或者利用用于语音辨识的麦克风218、或者经由任何其他手动选择方式)或者自动地(例如，通过选择屏幕24的含有兴趣点P的区域，或者任何其他自动选择方式)执行该用户选择。
在步骤b)结束时，用户获得对应于装置4的最相关或者最感兴趣的元件的该组兴趣点P。
然后，该方法包括步骤c)：选择要显示的信息，要显示的信息是与所选兴趣点关联的信息IP。
步骤c)由选择软件指令276实施。更确切地说，软件指令276从服务器6中检索与所选兴趣点P关联的信息IP。例如，参考图6，选择软件指令276从服务器6检索关于故障和在有关装置4的元件上执行的测量的信息IP。作为说明，信息IP与每个管道40的压力有关。
然后，该方法包括步骤g)：选择数据。意欲显示在步骤g)中选择的数据。
步骤g)由选择软件指令276实施。
一般地说，在步骤g)中，用户利用对于用户认为相关的信息的其他请求完成步骤c)的选择。这样的附加信息源由电子设备2产生或者生成。作为例子，数据由GPS坐标、从文件提取的数据、数值输入或者文本数据构成。替代地或者附加地，电子设备2通过在一个或者多个远程服务器上远程访问和检索数据，寻找该数据。
因此，该数据不是与所选兴趣点P关联的信息IP，而是对电子设备2可访问的数据。通常由选择软件指令276使得可以这样访问数据。
更确切地说，根据所示的例子，选择软件指令276从检测器20和该组传感器21检索数据。
例如，选择软件指令276检索电子设备2的位置数据D2。
选择软件指令276还从处理单元26的存储器262检索与装置4有关的数据D4。作为提示，数据D4是关于装置4的数值和文本值。
例如，参考图6，选择软件指令276从存储器262检索来自检测器20的图像和为了校正故障而要执行的校正动作列表。在步骤g)结束时，要显示的信息包括在步骤c)中检索的信息IP和在步骤g)中检索的数据。
然后，该方法包括步骤d)：提供对装置4可用的装置4的一组图。
作为一种变型，只有一个图可用于装置4。
例如，准备软件指令277提供包括二维图和三维图等的可用图列表。
步骤d)由用以以传统模式274显示的软件指令的准备软件指令277实施。
因此，在步骤d)结束时，对于装置4，获得一组图。这些图不包括要显示的信息。
然后，该方法包括步骤e)：优化可用于获得丰富示意表示Re的、装置4的每个图。优化步骤e)由准备软件指令277实施。根据预定义准则C，执行优化。
优化包括将要显示的信息I4的预览插入装置4的图中。预览与该图兼容。
在步骤e)结束时，获得一组丰富示意表示Re，每个丰富示意表示Re包括装置4的图、和要显示的信息I4的预览。与用户在丰富图像Ie上选择的兴趣点P关联的对象O被叠加在每个丰富示意表示Re上。
然后，该方法包括步骤f)：根据预定义准则C，对丰富示意表示Re分类。
实际上，根据用户请求的命令和/或信息，分类对丰富示意表示Re排序。
在该分类结束时，该方法能够确定最佳丰富示意表示Re。
步骤f)由分类软件指令278实施。
提供了几个实施例，用于特别是同时实施步骤e)和f)。
根据第一实施例，为了插入要显示的信息I4的预览图，优化步骤e)例如包括使用关联阵列。该阵列包括装置4的所有兴趣点P，并且将诸如URI(统一资源标识符)字符串的文本值与每个兴趣点P关联。URI指示诸如要显示的信息的预览的资源。信息的这种预览例如是SCADA模拟图或者人机界面或者因特网页面。换句话说，该阵列将信息IP的唯一预览与每个兴趣点P关联。
在优化期间，用户为特定图选择最相关的兴趣点P。准备软件指令277通过关联阵列提取预览，并且继而将该预览插入有关图中。
根据第二实施例，优化步骤e)包括使用至少一个选择过滤器。
每个选择过滤器例如是LDAP(轻量级目录访问协议)过滤器。
LDAP过滤器使得能够获得根据分层树结构化的数据。
LDAP过滤器例如是近似过滤器。查询类型“其拼写接近Peter的名称”是近似滤波器的示例。
根据另一个例子，LDAP过滤器是等同性(equality)过滤器，即，查询类型“完全等同于Peter”。
根据又一个例子，LDAP过滤器是比较过滤器、或者“与”、“或”、“异或”型等的逻辑运算。
每个LDAP过滤器通常由适合于过滤器的语法来表达。
在优化期间，采用触摸传感器214，屏幕24显示触摸键盘。用户输入对应于LDAP过滤器的语法。
作为一种变型，屏幕24显示对应于LDAP过滤器的触摸按钮。用户选择所需过滤器。
准备软件指令277仅提取与该过滤器关联的兴趣点P。然后，关联阵列将诸如URI字符串的文本值、与LDAP过滤器所识别的每个兴趣点P关联。URI或者统一资源标识符是标识网络上的物理资源或者抽象资源(例如，网络资源)的短字符串，其语法符合对于万维网建立的互联网标准。
如上所述，URI指示预览。因此，用户可对于特定图选择最相关的兴趣点P。准备软件指令277通过关联阵列提取预览，并且继而将该预览插入有关图中。
LDAP过滤器的使用可用于选择多个兴趣点P。
在又一个变型中，优化步骤e)包括以格的形式对显示的信息排序。例如，利用形式概念分析(通常以首字母缩略语FCA所公知)执行该排序。
当在形式上描述概念，即，完全并且准确地定义该概念和语境时，FCA分析开始研究概念。这种分析由Rudolf Wille于1982年提出，在格论中作为软件指令。记得，概念可以由其内涵和其外延定义：外延是属于该概念的对象组，而内涵是这些对象共享的属性组。
因此，FCA分析是其目标是识别对象编组或者属性编组的一组数据分析技术，也称为形式概念。
FCA分析基于格，在数学上，格是每对要素具有上限和下限的部分排序集。
每个FCA分析技术基于采用将所考虑的形式概念与每个对象和属性关联的阵列。实施了分析后，输出其要素被排序的格。
在步骤e)的特定情况下，形式概念的对象是增强现实视图中呈现的对象，而形式概念的属性是指示预览的URI字符串。
替代地，属性是增强现实视图中呈现的对象的特性、或者图形对象的特性。
如上所述，在所示的例子中，对象是兴趣点P，使得该组所选兴趣点P是FCA分析中考虑的输入。
FCA分析的实施创建包括兴趣点P和相应预览的阵列。由于一个兴趣点P可以与多个预览关联，所以FCP分析定义格，并且以格方式对形式概念排序。实际上，通过格，分析提供最适当的预览。
因此，采用FCP分析使得能够对用户呈现排序预览。值得注意的是，FCA分析用于表示类型“最小X和最大Y”的过滤器，并且呈现关系未“编码”并因此而事先知道的视图。
然后，准备软件指令277提取此预览并且继而将该预览插入有关图中。
然后，该方法包括步骤h)：显示根据预定义准则C的值排序的丰富示意表示Re，以代替丰富图像Ie。步骤h)由预览软件指令279和显示单元22实施。然后，用户可以选择其认为最适合其要求的丰富示意表示Re。然后，借助显示单元22，在屏幕24上显示所选择的丰富示意表示Re，以代替丰富图像Ie，并且完全取代丰富图像Ie。
例如，如图8所示，用户选择表示预定义准则C的最高值的丰富示意表示Re。该丰富示意表示Re包括装置4的部件的二维图和预览。具体地，在丰富示意表示Re上看到泵42和管道40、以及与丰富图像Ie的兴趣点P关联的对象O。
如果丰富示意表示Re是因特网页面，则预览软件指令279能够用于咨询网络浏览器。如果所选丰富示意表示Re是人机界面或者模拟图，则预览软件指令279能够用于执行能够显示有关界面或者模拟图的特定软件指令。
此外，显示管理方法包括用于从以传统模式显示变更为以增强现实显示的步骤。后面的这些步骤未在图中示出，并且将在下面的描述中解释。
实际上，用户的动作(例如，将电子设备2绕着法轴X2旋转90o、或者按压致动按钮或者触摸按钮)之后，用户可以触发将丰富示意表示Re转换为丰富图像Ie、或者转换为以增强现实显示的连续丰富图像。
然后，显示单元22将使得用户能够选择丰富示意表示Re的一部分的触摸按钮显示于屏幕24上。具体地，用户必须选择包括至少一个对象O的部分。在该例子中，用户选择丰富示意表示Re的包括多个对象O的所需部分。
作为一种变型，用户选择整个丰富示意表示Re。
然后，利用执行软件指令275，该方法识别与所选择的对象O关联的兴趣点P。
然后，该方法包括将所选择的部分或者整个丰富示意表示Re转换为新的丰富图像Ie或者新的连续丰富图像。
如上所述，电子设备2经由服务器6，利用用于唯一地识别装置4的唯一代码或者任何其他机制，通过地理定位、通过图像辨识，识别装置4。电子设备2利用该组传感器21，计算其GPS坐标、其定向、以及检测器20的相对位置。换句话说，在该步骤结束时，显示管理方法已经能够辨识电子设备2所位于的环境。
然后，计算机程序产品27在装置4的图像、或者连续图像上定位并且显示识别的兴趣点P。
更确切地说，该方法定位兴趣点P；如果兴趣点P位于所选择的丰富示意表示Re的一部分中，则显示兴趣点P；或者，当该兴趣点P不属于所选择的丰富示意表示Re的该部分时，则指示它们的相对位置并且引导用户找到它们。
作为一种变型，当新的丰富图像Ie或者新的连续图像不对应于所选部分或者整个丰富示意表示Re时、并且当在图像Ie上不能直接看到兴趣点P时，计算机程序产品27使指示兴趣点P的相对位置的标记显示于屏幕24上。
该显示管理方法适用于在增强现实方式的显示与传统模式的显示之间执行流畅且平滑的过渡。该方法能够用于搜索用户选择的模式中的正确的视觉界面。然后，该方法呈现具有有序匹配率的界面或者界面列表。当有多个满意界面时，用户选择最适当的界面。
因此，用户可以在两个显示中发现相同的信息。第一增强现实显示对应于地理和真实空间，而传统模式的第二显示对应于专业视图，即，用户更容易理解的逻辑和抽象空间。
因此，显示管理方法是用户获得传统模式的显示的工具，用于对识别的信息执行更简单、示意性的且有效的分析。可以在诸如泵站4的工业环境下、以及例如实施三次(tertiary)活动的环境或者医院环境的非工业环境下，采用如上所述的显示管理方法。

Claims (11)

1.用于管理与装置(4)有关的至少一个信息项(I4)在电子设备(2)的屏幕(24)上的显示的方法，所述方法包括如下步骤：
a)提供所述装置(4)的丰富图像(Ie)，所述丰富图像(Ie)包括所述装置(4)的图像(Ia)和所述装置(4)的兴趣点(P)，每个兴趣点(P)与所述装置(4)的元件所特定的信息项(IP)关联，
b)从多个兴趣点(P)中选择至少一个兴趣点(P)，以获得一组所选兴趣点(P)，
c)选择要显示的信息，要显示的信息是与所选兴趣点(P)关联的信息(IP)，
d)提供对所述装置(4)可用的所述装置(4)的一组图，
e)通过将要显示的信息的预览插入可用的所述装置(4)的每个图中，根据预定义准则(C)，优化所述装置(4)的所述图，以至少获得与所述丰富图像(Ie)不同、并且包括所述装置(4)的图和要显示的所述信息项中的一个的至少一个预览的丰富示意表示(Re)，其中所述预览与所述图兼容，
f)根据所述预定义准则(C)对所述丰富示意表示(Re)进行分类，以及
h)显示所获得的丰富示意表示(Re)的至少一个，以代替所述丰富图像(Ie)。
2.根据权利要求1所述的方法，其中所述方法还包括选择数据(D2，D4)的步骤g)，所述数据(D2，D4)不是与所选兴趣点(P)关联的信息(IP)，并且所述电子设备(2)能够访问所述数据(D2，D4)，要显示的信息还包括所选数据(D2，D4)。
3.根据权利要求2所述的方法，其中所选数据(D2，D4)源自所述电子设备(2)的至少一个传感器(20，21)。
4.根据权利要求1至3中的任何一项所述的方法，其中优化步骤e)包括以格的形式排序要显示的信息。
5.根据权利要求1至3中的任何一项所述的方法，其中优化步骤e)包括使用选择过滤器。
6.根据权利要求1至3中的任何一项所述的方法，其中优化步骤e)包括使用将信息(IP)的唯一预览与每个兴趣点(P)关联的关联阵列，所述兴趣点(P)与所述信息(IP)关联。
7.根据权利要求1至3中的任何一项所述的方法，其中显示步骤h)包括显示根据所述预定义准则(C)的值排序的丰富示意表示(Re)。
8.根据权利要求7所述的方法，其中所述方法还包括显示呈现所述预定义准则(C)的最高值的丰富示意表示(Re)。
9.根据权利要求1至3中的任何一项所述的方法，其中至少一个步骤由用户的动作触发。
10.根据权利要求9所述的方法，其中所述用户的动作是绕着垂直于所述电子设备(2)的屏幕(24)的轴(X2)旋转所述电子设备(2)，并且其中所述电子设备(2)包括至少一个致动按钮或者触摸按钮，并且所述用户的动作是按压所述致动按钮或者所述触摸按钮。
11.电子设备(2)，包括：检测器(20)；一组传感器(21)；屏幕(24)；用于在所述屏幕上显示(22)数据的单元；处理单元(26)；以及计算机程序，其中所述处理单元(26)在执行所述计算机程序时实施权利要求1至10中的任一项的步骤。
CN201610081191.8A 2015-02-05 2016-02-05 显示管理方法和关联计算机程序产品及电子设备 Active CN105867612B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR1550907A FR3032544B1 (fr) 2015-02-05 2015-02-05 Procede de gestion de l'affichage, produit programme d'ordinateur et dispositif electronique associes
FR1550907 2015-02-05

Publications (2)

Publication Number Publication Date
CN105867612A CN105867612A (zh) 2016-08-17
CN105867612B true CN105867612B (zh) 2020-06-19

Family

ID=53404658

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610081191.8A Active CN105867612B (zh) 2015-02-05 2016-02-05 显示管理方法和关联计算机程序产品及电子设备

Country Status (5)

Country Link
US (1) US9805477B2 (zh)
EP (1) EP3054426A1 (zh)
JP (1) JP6896364B2 (zh)
CN (1) CN105867612B (zh)
FR (1) FR3032544B1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6854631B2 (ja) * 2016-11-28 2021-04-07 株式会社Ｎｔｔファシリティーズ 情報可視化システム、情報可視化方法、及びプログラム
US11250947B2 (en) * 2017-02-24 2022-02-15 General Electric Company Providing auxiliary information regarding healthcare procedure and system performance using augmented reality
US11474496B2 (en) * 2017-04-21 2022-10-18 Rockwell Automation Technologies, Inc. System and method for creating a human-machine interface
EP3425468B1 (en) * 2017-07-05 2021-09-01 ABB Schweiz AG Method and systems for facilitaing user navigation among a plurality of operator workstation screens
EP3483104B1 (en) 2017-11-10 2021-09-01 Otis Elevator Company Systems and methods for providing information regarding elevator systems

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102663448A (zh) * 2012-03-07 2012-09-12 北京理工大学 一种基于网络的增强现实物体识别分析方法
CN102985901A (zh) * 2010-05-16 2013-03-20 诺基亚公司 用于为移动设备上基于位置的服务渲染对象的立体图及与其相关的内容的方法和装置
WO2013167523A1 (fr) * 2012-05-07 2013-11-14 Schneider Electric Industries Sas Procede d'affichage en realite augmentee d'une information relative à un equipement cible sur un ecran d'un dispositif electronique, produit programme d'ordinateur, dispositif electronique et equipement electrique associes

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3274290B2 (ja) * 1994-09-19 2002-04-15 三菱電機株式会社 映像表示装置及び映像表示システム
JP4537557B2 (ja) * 2000-09-19 2010-09-01 オリンパス株式会社 情報呈示システム
US9658271B2 (en) * 2008-09-11 2017-05-23 The Boeing Company Wire fault illumination and display
US8830267B2 (en) * 2009-11-16 2014-09-09 Alliance For Sustainable Energy, Llc Augmented reality building operations tool
JP5707238B2 (ja) * 2011-06-02 2015-04-22 株式会社日立製作所 画像検索装置及び画像検索システム
JP5999679B2 (ja) * 2012-01-18 2016-09-28 株式会社日立製作所 設備保守管理システム
JP5469764B1 (ja) * 2013-03-26 2014-04-16 三菱電機インフォメーションシステムズ株式会社 建造物表示装置及び建造物表示システム及び建造物表示方法及び建造物表示プログラム
GB201306942D0 (en) * 2013-04-17 2013-05-29 Tomtom Int Bv Methods, devices and computer software for facilitating searching and display of locations relevant to a digital map

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102985901A (zh) * 2010-05-16 2013-03-20 诺基亚公司 用于为移动设备上基于位置的服务渲染对象的立体图及与其相关的内容的方法和装置
CN102663448A (zh) * 2012-03-07 2012-09-12 北京理工大学 一种基于网络的增强现实物体识别分析方法
WO2013167523A1 (fr) * 2012-05-07 2013-11-14 Schneider Electric Industries Sas Procede d'affichage en realite augmentee d'une information relative à un equipement cible sur un ecran d'un dispositif electronique, produit programme d'ordinateur, dispositif electronique et equipement electrique associes

Also Published As

Publication number Publication date
EP3054426A1 (fr) 2016-08-10
JP6896364B2 (ja) 2021-06-30
US20160232687A1 (en) 2016-08-11
FR3032544A1 (fr) 2016-08-12
FR3032544B1 (fr) 2018-03-09
JP2016157435A (ja) 2016-09-01
CN105867612A (zh) 2016-08-17
US9805477B2 (en) 2017-10-31

Similar Documents

Publication Publication Date Title
CN105867612B (zh) 显示管理方法和关联计算机程序产品及电子设备
US9658744B1 (en) Navigation paths for panorama
CN110383274B (zh) 识别设备的方法、装置、系统、存储介质、处理器和终端
CN109643304B (zh) 交互式图形表示中显示商标查询检索结果的系统和方法
US11308108B2 (en) Maintenance information sharing device, maintenance information sharing method, and non-transitory computer readable storage medium
US20170134878A1 (en) Smart communication device or apparatus for collecting and evaluating information about equipment distributed over a large area, e.g., over a large industrial plant or oil field
JP5994979B2 (ja) 作業情報登録装置及び作業情報管理システム
US20180157926A1 (en) Determining regions of interest based on user interaction
US20130120450A1 (en) Method and apparatus for providing augmented reality tour platform service inside building by using wireless communication device
US9883004B2 (en) Systems and methods for generating a viewer-specific visitor history for a location
US9437004B2 (en) Surfacing notable changes occurring at locations over time
JP6316176B2 (ja) 点検履歴管理システム、点検履歴管理方法
EP3161726A1 (en) Using image features to extract viewports from images
WO2012164685A1 (ja) 情報提供装置、情報提供方法、情報提供処理プログラム、情報提供処理プログラムを記録した記録媒体、及び情報提供システム
WO2016025732A1 (en) Spatial data collection
US11709881B2 (en) Visual menu
CN108604256B (zh) 零件信息检索装置、零件信息检索方法以及程序
CN106250384A (zh) 信息检索系统及信息检索方法
CN110689614B (zh) 基于电子地图的设备信息收集方法、介质、设备及系统
JP2021015572A (ja) 情報管理システムおよび情報管理方法
CN110990727B (zh) 经纪人信息展示方法、装置、存储介质及设备
KR20230162696A (ko) 사용자 콘텐츠를 위한 분류 추천들의 결정
CN114529634A (zh) 电厂单元快速定位方法
KR20230159613A (ko) 추가적인 텍스트 콘텐츠를 포함하는 수정된 사용자 콘텐츠 생성
KR20130082903A (ko) 관심 지점 제공 방법 및 장치

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant