CN114637372A - 具有重叠虚拟信息的便携式显示设备 - Google Patents

具有重叠虚拟信息的便携式显示设备 Download PDF

Info

Publication number
CN114637372A
CN114637372A CN202111546362.7A CN202111546362A CN114637372A CN 114637372 A CN114637372 A CN 114637372A CN 202111546362 A CN202111546362 A CN 202111546362A CN 114637372 A CN114637372 A CN 114637372A
Authority
CN
China
Prior art keywords
portable device
short
range wireless
wireless transmitter
real object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111546362.7A
Other languages
English (en)
Inventor
B·德克
S·格斯帕奇
M·卢维索托
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Energy Co ltd
Original Assignee
Hitachi Energy Switzerland AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Energy Switzerland AG filed Critical Hitachi Energy Switzerland AG
Publication of CN114637372A publication Critical patent/CN114637372A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1626—Constructional details or arrangements for portable computers with a single-body enclosure integrating a flat display, e.g. Personal Digital Assistants [PDAs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01Q—ANTENNAS, i.e. RADIO AERIALS
    • H01Q21/00—Antenna arrays or systems
    • H01Q21/06—Arrays of individually energised antenna units similarly polarised and spaced apart
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/02—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using radio waves
    • G01S5/08—Position of single direction-finder fixed by determining direction of a plurality of spaced sources of known location

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Human Computer Interaction (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Computer Graphics (AREA)
  • Quality & Reliability (AREA)
  • Processing Or Creating Images (AREA)
  • Position Fixing By Use Of Radio Waves (AREA)
  • User Interface Of Digital Computer (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

公开了一种用于在包括真实对象(30)的场景的图像(20)中定位虚拟对象(10，12，14)的方法。该方法包括从相对于真实对象布置在的预定位置的短程无线发射器(40)接收(620)信号，并基于所接收的信号确定(640)便携式设备相对于短程无线发射器的位置和取向。场景的图像与虚拟对象一起显示(650)，其中虚拟对象在图像中的位置基于便携式设备相对于短程无线发射器的所确定的位置和取向以及基于短程无线发射器相对于真实对象的预定位置。还公开了一种系统(500)、一种便携式设备(100)和一种计算机程序产品(710)。

Description

具有重叠虚拟信息的便携式显示设备
技术领域
本发明总体上涉及输电网络和/或配电网络的装备的检查和维修领域，以及更特别地， 涉及用于在包括这种装备的场景的图像中定位虚拟对象的方法和设备。
背景技术
技术人员或现场操作员(例如在电力传输和/或配电网络的变电站)需要与所安装的 装备中的系统或设备交互并且能够取得关于所安装的装备的信息。信息可以例如涉及所 安装的装备的各种部件和零件的身份，从而将技术人员或现场操作人员引导到装备的正 确零件。信息还可以包括各种部件和零件的特性或状态，例如包括维护历史和早期维修报告。
增强现实是已经被用于尝试辅助技术人员或现场操作人员获取关于所安装的装备的 信息的技术的示例。增强现实是利用包括图像中的真实对象的附加信息的计算机生成的 图形(也称为虚拟对象)覆盖真实世界表示的方法。因此，利用增强现实，用户获得了对 真实世界环境的感知，这种感知由于所添加的虚拟对象的存在而被改善。
增强现实技术如今在例如包括平板电脑和智能手机的手持显示设备中实施，这些手 持设备包括用于捕获环境图像的相机，这些图像可以与呈计算机生成的图形特征的形式 的附加信息一起在手持显示设备的显示器或触摸屏上再现。
然而，已知上述增强现实技术受到与现实世界表示中虚拟对象相对于现实对象的定 位的较差的准确性有关的问题的影响。因此，这些技术对于在要求高精度和定位准确性的环境中工作的技术人员或现场操作人员帮助很小或没有帮助。
发明内容
实现克服或至少减轻以上提及的缺点的技术将是有利的。特别地，期望的是能够改 进虚拟对象在包括真实对象的场景的图像中的定位。
为了更好地解决这些问题中的一个或多个，提供了具有独立权利要求中限定的特征 的方法、系统、设备和计算机程序产品。从属权利要求中限定了优选实施例。
因此，根据第一方面，提供了一种用于在包括真实对象的场景的图像中定位虚拟对 象的方法，其中真实对象可以形成输电网络和/或配电网络的设备的至少一部分。该方法 包括通过便携式设备获取场景的图像，并且在便携式设备处从相对于对象布置在的预定 位置处的短程无线发射器接收信号。该方法还包括至少部分地基于所接收的信号来确定 便携式设备相对于短程无线发射器的位置和取向。该方法还可以包括：在便携式设备上显示所获取的图像和虚拟对象；并且至少部分地基于便携式设备相对于短程无线发射器的所确定的位置和取向以及基于短程无线发射器相对于真实对象的预定位置，在所获取的图像中定位虚拟对象。
根据第二方面，提供了一种用于在包括真实对象的场景的图像中定位虚拟对象的系 统。该系统可以包括用于输电网络和/或配电网络的设备的检查和维修的便携式设备、相 对于真实对象布置在预定位置的短程无线发射器、以及处理单元。便携式设备可以被配置为获取场景的图像并从短程无线发射器接收信号。处理单元可以被配置成至少部分地基于所接收的信号来确定便携式设备相对于短程无线发射器的位置和取向。进一步，便 携式设备可以被配置为至少部分地基于便携式设备相对于短程无线发射器的所确定的位 置和取向，显示所获取的图像和虚拟对象，并且在获取的图像中定位虚拟对象。虚拟对 象在所获取的图像中的位置可以基于便携式设备相对于短程无线发射器的所确定的位置 和取向以及基于短程无线发射器相对于真实对象的预定位置。
根据第三方面，提供了一种用于输电网络和/或配电网络的设备的检查和维修的便携 式设备。该便携式设备包括被配置为获取包括真实对象的场景的图像的成像设备，以及 被配置为显示所获取的图像的显示设备。便携式设备可以被配置为从相对于真实对象布 置在预定位置的短程无线发射器接收信号，并且被通信连接到处理单元，该处理单元被配置为至少部分地基于所接收的信号来确定便携式设备相对于短程无线发射器的位置和取向。显示设备可以被配置为显示具有虚拟对象的所获取的图像，并且至少部分地基于 便携式设备相对于短程无线发射器的所确定的位置和取向以及基于短程无线发射器相对 于真实对象的预定位置，在所获取的图像中定位虚拟对象。
根据第四方面，提供了一种计算机程序产品，包括使根据第二方面的系统执行根据 第一方面的方法的步骤的指令。
本方面利用来自短程无线发射器的信号来确定便携式设备相对于短程无线发射器的 位置和取向。这允许虚拟对象更精确地定位在真实对象的所获取的图像中，尤其是鉴于 仅依赖于来自便携式设备的惯性测量单元(inertial measurement unit，IMU)的加速度和 陀螺仪数据的技术，以及仅依赖于从信号获得的接收信号强度指示(receivedsignal strength indicator，RSSI)数据的技术。虽然基于IMU数据的技术容易遭受累积误差或漂 移误差，从而导致增加的偏移和较差的重复性，但是本发明提供了基于发射器相对于真 实对象的预定位置的更可靠和更精确的定位。通过使用来自发射器的信号，在便携式设 备相对于发射器移动时，便携式设备的位置和取向可以被重复地(或者甚至连续地)计算。由于发射器被相对于真实对象布置在的预定位置，所以也可以在便携式设备正在被 移动时相对于发射器的已知位置建立便携式设备的位置。这可以减轻与基于来自便携式 (并且可能是移动的)设备内部的IMU的数据的定位相关联的累积误差的问题。进一步， 虽然依赖于RSSI数据的技术可以指示便携式设备的发射器和接收器之间的距离，但是当 涉及到确定信号被发射的方向时，这种技术通常不是特别准确。因此，本方面的优点在 于距离和方向两者都可以从发射器的信号中获得。这允许更正确地确定绝对位置以及还 有便携式设备相对于发射器(以及因此真实对象)的取向。
取向通常被理解为便携式设备的角位置、姿态或方向，其连同其位置一起描述了便 携式设备如何放置在空间中。因此，可以通过围绕其自身的轴旋转便携式设备来改变取向，同时可以通过平移便携式设备来改变位置。在本公开的上下文中，便携式设备的位 置可以被描述为其所放置的地理空间位置，而取向可以通过其成像设备的光轴指向的方 向来描述。
假设显示设备相对于便携式设备的位置是已知的，便携式设备(以及因此显示设备) 相对于真实对象的所确定的位置和取向可以用于确定真实对象在显示设备上显示的图像 中的位置。然后，真实对象在图像中的位置可以用于在图像中正确定位虚拟对象。
短程无线发射器(为简洁起见，在下文中也称为“发射器”)通常是指利用诸如蓝牙、Wi-Fi、近场通信、超宽带和IEE 802.15.4的技术的射频发射器设备。短程发射器通 常是限制在25至100mW有效辐射功率，从而将其有用范围限制在几百米的低功率发射 器。优选地，发射器能够发射信号，根据该信号可以确定信号相对于便携式设备的接收 器的传播方向，如下面进一步详细描述的那样。
虚拟对象通常是指显示在显示设备上并且至少部分由计算机生成的图形对象或特征。 换句话说，虚拟对象可以被认为是包括附加信息的图形特征，该图形特征可以覆盖现实 世界的图像。虚拟对象的示例可以包括标签、标志、文本框、符号、数字、字母等。
因此，根据实施例，虚拟对象可以是与真实对象的身份相关联的图形特征。虚拟对象可以例如辅助用户(诸如现场操作员或技术人员)识别真实对象的各种部件或零件。 附加地或者替代性地，图形特征可以与真实对象的特征相关联。该特性可以例如涉及真 实对象的部件或零件的状态或功能，诸如施加的电压或到所安装的装备的其他部件或设 备的功能连接、或者部件的维护历史。在另外的示例中，虚拟对象可以包括指导用户经 历装备处的过程(诸如检查或维修过程)的指令。
在另外的示例中，虚拟对象可以与真实对象所属的性质或类别相关联。虽然真实对 象的身份对于每个真实对象来说可能是唯一的，但是多个单独的真实对象可以根据它们 的性质或类别根据共同特性被分组。
根据实施例，可以从真实对象中检索身份和/或特性。因此，对象或与对象相关联的 设备可以被配置为向便携式设备或与便携式设备相关联的接收器传输关于身份或特性的 数据。在示例中，身份或特性可以由短程无线发射器传输，优选地经由用于确定便携式设备相对于短程无线发射器的位置和取向的相同信号传输。
根据实施例，身份和/或特性可以从远程服务器检索，即，通信连接到便携式设备并 布置在与便携式设备分离的物理位置的服务器。服务器可以被配置为容纳或访问存储与 装备的一个或多个设备或部件相关联的信息的数据库，并且提供要在所获取的图像中显 示为虚拟信息的信息。
来自服务器的信息可以与真实对象的身份或类别相关联，并且在请求与该身份相关 联的信息时被提供给便携式设备。身份可以例如作为来自用户的输入而获得，这可以指示用户希望从服务器检索信息的期望身份或类别。在另一示例中，身份或类别可以从真 实对象获得(例如通过如上讨论的信号)，并且包括在对服务器的请求中。在另外的示例 中，真实对象的身份或类别可以通过计算机辅助图像分析方法获得。
因此，根据实施例，可以确定真实对象的身份或类别。身份的确定可以包括对所获取的图像的处理，例如通过计算机辅助分析，在该计算机辅助分析中，所获取的图像中 的特征或对象可以与已知对象的特征和先前捕获的图像中的特征进行比较。这个处理也 可以被称为对象识别方法。真实对象的身份或类别可以被自动确定，即在不涉及用户的 情况下被确定，或者被呈现为要由用户确认的建议。
图像中真实对象的识别还可以用于进一步改善或验证图像中的真实对象的位置。因 此，虚拟对象在所获取的图像中的定位可以进一步基于对象识别方法的输出。因此，用于确定身份或类别的处理还可以允许在所获取的图像中更精确地定位虚拟对象。
根据实施例，身份(或类别)可以使用人工智能(artificial intelligence，AI)算法来 确定，该算法针对真实对象的先前获取的图像和这些对象的相对应的身份(或类别)进 行训练。因此，本实施例采用人工智能算法(也可以称为神经网络技术或机器学习)作为工具来改进对所获取的图像的处理以获得关于真实对象的信息。人工智能算法可以针对先前捕获的图像进行训练，在这些图像中，真实对象已经由人类(诸如便携式设备的操 作者)手动识别。
根据实施例，人工智能算法可以通过与被配置为接收图像和关于在所获取的图像中 识别的真实对象的身份(或类别)的信息的服务器通信来更新。这些信息可以用于进一步改进和训练人工智能算法，并提高真实对象的识别的准确性。
服务器可以容纳人工智能算法。附加地或者替代性地，人工智能算法可以本地存储 在便携式设备中。应当理解的是，在一些示例中，人工智能算法可以从远程位置(例如以上提及的服务器或互联网云基础设施的远程服务器)下载到便携式设备。进一步，存储 在便携式设备上的人工智能算法可以利用较新的版本来替换，在一些示例中，这些较新 的版本可以通过从一个或多个便携式设备接收的输入进行改进。因此，由便携式设备的 使用生成的数据可以被提供作为用于训练人工智能算法的输入并最终改进该方法和设备。
人工智能算法的示例包括概率图形模型，诸如贝叶斯网络、随机森林、概率分类器和/或控制器(例如，高斯混合模型)。另外的示例包括神经网络，诸如递归网络、以及 强化学习门控递归单元、长短期记忆架构和注意力网络。
根据实施例，便携式设备相对于短程无线发射器的位置还可以基于短程无线发射器 的信号强度来确定。所接收的信号的强度(strength)或密度(intensity)的测量可以与传 播模型相结合，以确定便携式设备的短程无线发射器和接收器之间的距离。然后，所确定的差异可以与和信号相关联的方向信息一起使用，以确定便携式设备的位置和取向。
根据实施例，便携式设备相对于短程无线发射器的位置还可以基于从多个短程无线 发射器接收的信号来确定。在实施例中，这个确定可以包括信号的三角测量。因此，在几个短程无线发射器可用并且被相对于真实对象布置在的预定位置的情况下，通过将来自这些发射器的信号包括在计算中，可以进一步改善便携式对象的位置和取向的确定。
确定便携式设备相对于短程无线发射器的方向可以包括确定由短程无线发射器传输 并入射到便携式设备的天线上的信号的传播方向。这可以例如通过确定天线旋转期间的 最大信号强度，或者通过测量便携式设备的天线阵列的各个元件之间的到达时间差来实 现。
根据实施例，便携式设备可以包括允许确定所接收的信号的到达角(angle ofarrival， AoA)的天线元件的阵列。可以通过测量在阵列中的各个天线元件处接收的信号的相位 方面的差来确定AoA，其中所确定的AoA指示便携式设备相对于短程无线发射器的取 向。优选地，AoA确定可以与基于所接收的信号强度的距离确定相结合，用于获得便携式设备相对于短程无线发射器的取向和位置两者的度量。
本实施例的优点在于，它允许使用来自单个天线(在这种情况下是发射器)的信号来确定便携式设备的取向和位置。几个发射器确实可以用于验证所确定的取向和位置， 但是不像例如基于三角测量的技术，这在本公开的上下文中不是必需的。
根据实施例，短程无线发射器可以包括允许确定所接收的信号的离开角(angleof departure，AoD)的天线元件的阵列。AoD可以通过以与以上针对AoD计算描述的类似 的方式测量相位差来确定。因此，便携式设备的接收天线可以采集由阵列中的多个天线 元件传输的信号的相位的样本。基于相位样本数据，便携式设备可以确定相对信号方向， 并且因此确定便携式设备和发射器的相对取向。优选地，这些计算利用基于信号的接收 信号强度数据计算距离来完成，使得可以确定便携式设备相对于发射器的取向和位置。
类似于与AoA计算相关的实施例，本实施例允许使用单个天线(在这种情况下是便携式设备)来确定便携式设备的相对位置和取向。使用多于一个天线是可能的，但是在 本公开的上下文中这不是必需的。
根据一些实施例，便携式设备可以包括被配置为向处理单元提供数据的定位设备， 诸如内部定位设备。可以由处理单元使用该数据来确定便携式设备相对于短程无线发射 器的位置和/或取向。定位设备可以例如包括被配置为从短程无线发射器收集数据的短程 无线接收器，或者允许在全球坐标系中确定便携式设备的地理空间位置的全球导航卫星 系统GNSS接收器。替代性地或附加地，定位设备包括惯性测量单元IMU、或惯性传感 器，用于提供加速度和陀螺仪数据。当确定便携式设备相对于短程无线发射器的方向和 位置时，可以提供IMU数据以进一步提高准确性。
根据实施例，真实对象可以是或形成变电站的装备设备的一部分。变电站可以充当 电气系统的不同传输线路之间的连接点，并且可以附加地将电压从高转换到低，或者相反，或者在输电网络或配电网络中执行几个其他重要功能中的任何一个。变电站和各种 变电站的所安装的装备通常不同地设计。本实施例的优点在于，它们允许一个或几个短 程无线发射器与变电站的部件和设备相关联，用于辅助现场操作员或技术人员识别正确 的部件和设备，并引导他或她接近、检查和对装备实行动作。部件或资产的示例可以包 括连接器及其应用的线缆，其中虚拟对象可以指示通过线缆传输的信号、线缆引线的状 态以及与线缆相关联的数据值。进一步，虚拟对象可以指示线缆类型的识别以及线缆的 编号和路由。虚拟对象还可以识别相同类型的几个部件或资产，例如多个风扇，并且可 视化资产中的每一个的状况或状态(例如，指示风扇是否旋转)。
根据一些实施例，便携式设备可以是手持显示设备，诸如平板电脑或智能手机、或者头戴式显示设备。
应当理解的是，除了上述实施例之外的其他实施例也是可能的。还应当理解的是，以上针对根据第一方面的方法描述的实施例中的特征中的任何一个可以与根据其他方面的系统、设备和产品相结合，反之亦然。
从以下详细描述、从所附从属权利要求以及从附图中，所附实施例的其他目的、特征和优点将变得显而易见。本领域的技术人员认识到，即使在不同的权利要求中叙述， 本发明的不同特征也可以在不同于下面描述的那些实施例的实施例中组合。
附图说明
现在将参考以下附图更详细地描述示例性实施例，在附图中：
图1示出了根据一些实施例的用于输电网络和/或配电网络的装备的检查和维修的便 携式设备的示意图；
图2示出了根据一些实施例的在便携式设备的显示设备上与虚拟对象一起显示的所 获取的图像的示例；
图3示出了根据一些实施例的包括真实对象的场景的图像的捕获；
图4a和图4b示出了根据一些实施例的用于确定便携式设备相对于真实对象的位置 和取向的发射器和接收器的示例；
图5示出了根据一些实施例的系统的示意图；
图6是示出本公开的方法的流程图；以及
图7示出了根据实施例的包括计算机可读存储介质的计算机程序产品的示例。
如图所示，为了说明的目的，元件和区域的大小可能被放大，并且因此，提供这些元 件和区域的大小以示出实施例的整体性结构。贯穿全文，相同的附图标记指代相同的元件。
具体实施方式
现在将在下文中更全面地描述参考附图的示例性实施例，在附图中示出了当前优选 的实施例。然而，本发明可以以许多不同的形式实施，并且不应该被解释为局限于本文阐述的实施例；相反，提供这些实施例是为了彻底性和完整性，并且向技术人员充分传 达本发明的范围。
参考图1，描述了根据本公开的一些实施例的便携式设备100。图1示出了便携式设备100，诸如手持平板电脑，该便携式设备可以用于输电网络或配电网络的装备30(诸 如主要装备或辅助装备)的检查或维修。便携式设备100可以包括成像设备110、定位设 备或接收器120、处理单元130、显示设备140和收发器150。
显示设备140可以适于显示由成像设备110捕获的一个或多个图像和用于辅助用户 取得关于真实对象30的信息的虚拟对象，如将参考图2进一步解释的那样。显示设备140还可以帮助用户捕获成像设备110的视野内的包括真实对象30的场景的图像。
虚拟对象可以包括与真实对象30相关联的信息，该真实对象可以是例如变电站的装 备设备或资产。在一个示例中，真实对象30可以是电流互感器或电流传感器。虚拟对象可以向用户指示所识别的变压器或传感器以及输出信号类型和数据值。
便携式设备100可以设置有天线元件，用于从相对于真实对象布置在30的预定位置 上的短程无线发射器40接收信号。在一些示例中，天线可以形成定位设备或接收器120的一部分。因此，定位设备或接收器120可以具有一个或几个天线元件(未示出)，用 于从一个或几个短程无线发射器40接收一个或几个信号。在多个信号可用(例如来自与 真实对象30相关联的发射器40和来自与相同对象30或其他对象相关联的附加发射器) 的情况下，多个信号可以经受三角测量，以进一步确定便携式设备相对于真实对象30的 位置和/或取向。
在示例中，定位设备120可以被配置成接收射频信号，诸如蓝牙信号。从所接收的信号获得的数据然后可以被提供给处理单元130，用于确定便携式设备100相对于真实 对象30的位置。可选地，定位设备可以包括或被配置为从惯性测量单元IMU170接收数 据，该惯性测量单元可以提供与便携式设备100的移动和位置相关的加速度和陀螺仪数 据。
在本实施例中，处理单元130被布置在便携式设备100中。然而，应当理解的是， 处理单元130也可以布置在便携式设备的外部，诸如在互联网云结构中。处理单元130 可以与定位设备120、显示单元140以及可选的IMU 170通信。在一些示例中，处理单 元130还可以被配置为从全球导航卫星系统GNSS接收信号。
处理单元130可以适于控制成像设备110，以使得捕获包括真实对象30的场景的一个或多个图像。处理单元130还可以适于接收由成像设备110捕获的图像，或者至少接 收对应于图像的数据，并且进一步控制由显示设备140显示的图像。
如下文将所描述的那样，可以基于由定位设备120收集的数据来确定由显示设备140 显示的图像中的虚拟对象的位置。
便携式设备100的成像设备110例如可以是包括诸如半导体电荷耦合器件(charge- coupled device，CCD)、互补金属氧化物半导体(complementary metal-oxide-semiconductor， CMOS)传感器或另一有源数字像素传感器的图像传感器的数码相机。成像设备110被 布置在相对于定位设备120的天线的特定位置处。
入射到定位设备120的天线上的信号可以用于确定天线和发送信号的短程无线发射 器40(简称发射器)之间的距离。距离可以例如基于所接收的信号的强度结合信号的路径损耗模型来计算。入射到定位设备120的天线上的信号还可以用于确定所接收的信号 的方向，该方向可以由信号的到达角或离开角来限定。该方向可以例如基于入射信号的 相位测量来计算，如将参考图4a和图4b进一步描述的那样。
定位设备120的天线可以相对于便携式设备100具有特定的位置和取向，使得可以相对于便携式设备100的位置和取向来限定来自发射器40的入射信号的方向。在本示例中，入射信号的方向由平行于成像设备110的光轴114的轴线122与定位设备120的天 线和发射器40之间的瞄准线之间的角度α来例示。
基于入射信号的方向和到发射器40的距离，并且由于便携式设备100中的定位设备 120的天线的位置是已知的，所以可以相对于发射器40估计便携式设备100的位置和取向。便携式设备100相对于真实对象30的位置和取向然后可以基于发射器40相对于真 实对象30的预定位置来计算。
图1还示出了远程设备，诸如与便携式设备100通信的服务器160。该通信可以例如通过便携式设备100的收发器150来实现。服务器可以被配置成接收图像和关于由成像 设备110获取的图像中的真实对象30的身份或类别的信息。服务器160可以存储与真实 对象30相关联的信息，例如对象的身份、状态或特征。在示例中，真实对象30的身份 可以被提供给服务器160，该服务器160可以通过向便携式设备100提供与真实对象30 的身份相关联的信息来进行响应。然后，与身份相关联的信息可以在所获取的图像中显 示为虚拟对象。
进一步，服务器可以容纳人工智能算法，该人工智能算法可以用于识别由成像设备 110捕获的图像中的真实对象30。该识别可以用于进一步改善虚拟对象在图像中的定位， 并检索与真实对象30的身份相关联的信息。在一些示例中，人工智能算法模型可以从服 务器160下载并本地存储在便携式设备100上，其中在其他示例中，人工智能算法可以从服务器190操作。
如果用户发现真实对象30的识别不正确，用户可以校正信息，并且人工智能算法被 相应地更新。
尽管服务器160被示为处于远程位置，例如互联网云基础设施的远程服务器，但是服务器160可以是便携式设备100的集成部分。
图2示出了根据图1所示实施例的便携式设备100的显示设备140。在本示例中， 包括呈装备设备30形式的真实对象的场景的图像20与呈虚拟对象10、12、14的形式的 信息一起显示在显示设备140上。虚拟对象10、12、14可以是计算机生成的图形特征， 诸如符号和文本字段——在本示例中由警告符号10、箭头12和指示的电压电平14示出。 虚拟对象10、12、14被覆盖在图像20上，并且以这样的方式定位，即它们向用户传达 关于所示的装备设备30的特定零件或部件35的信息。虚拟对象10、12、14在图像中的 位置是基于便携式设备100相对于真实对象30的位置和取向来确定的，并且允许用户获 得关于例如被成像的装备30的特定零件或部件35的身份、状态和特性的知识。
在实施例中，便携式设备包括用于从用户接收输入的输入装置。输入装置可以例如 被配置成允许用户选择图像中的特定零件或部件或虚拟对象，以检索与所选择的项相关 联的附加信息。输入装置可以例如包括触摸屏140或图形导航工具，诸如用户控制的指针。在示例中，输入作为请求被发送到服务器160，该服务器160可以通过提供与所选择 的项相关联的所存储的信息来响应。所存储的信息可以作为图像中的虚拟对象呈现在显 示设备140上。
图3示出了这样的情景，其中便携式设备100被放置在成像设备110观看真实对象30的位置，同时来自短程无线发射器40的信号的数据与来自成像设备110的数据一起 被收集。成像设备110可以捕获真实对象30位于的场景或表面的图像(或图像的序列， 或视频)，如由成像设备110的传感器112的视场的区域116所表示的那样。捕获图像 的位置可以对应于成像设备110的投影中心117的位置(镜头未在图3中示出)。应当 理解的是，便携式设备110的另一点可以作为参考，例如成像传感器112的中心。
便携式设备100或者更确切地说处理单元130可以基于来自发射器40的信号和发射 器40相对于真实对象30的预定位置，根据坐标系X、Y、Z来确定投影中心117相对于 真实对象30的位置，如以上结合前面的附图所讨论的那样。因此，处理单元130可以基 于相同的信号进一步确定便携式设备100的相对取向。取向可以例如由成像设备110的 光轴114和从真实对象30传播的入射光线32之间的角度α来限定。
现在将参考图4a和图4b讨论根据一些实施例的从短程无线发射器传输和接收信号 的示例。
图4a和图4b示出了根据实施例的短程无线发射器40和接收器或定位设备120，其中定位设备120被配置成接收由短程无线发射器40传输的信号。短程无线发射器40和 定位设备可以例如被配置为支持蓝牙5.1方向寻找功能。如以上结合前面的实施例所讨 论的那样，发射器40可以被相对于真实对象布置在30的预定位置处，而定位设备120 可以形成便携式设备100的一部分，或者与便携式设备100通信，用于包括真实对象30 的装备的检查和维修。
图4a示出了包括用于发射射频信号的单个天线42的发射器40以及定位设备或接收 器120，该定位设备或接收器包括用于确定信号的到达角(AoA)α的天线元件的阵列124。通过使用多个天线元件124，可以观察到入射信号的相位差，并将其用于确定AoA， 并且因此确定便携式设备100相对于真实对象30的取向。在本示例中，到达角α被指示 为由天线元件124的阵列限定的平面(由图4a中的线122指示)与天线元件124的阵列 和发射器40的天线42之间的视线之间的角度α。
图4b中示出了替代性配置，其中发射器40包括天线元件42的阵列，并且定位设备或接收器120包括单个天线124。类似于图4a中的配置，可以通过观察相位来确定所传 输的信号的方向。在图4b中，方向可以被限定为离开角(AoD)β，并且可以通过由发 射器40的天线元件42的阵列限定的平面(在本图中由线44指示)和天线元件42的阵 列和定位设备120的天线124之间的视线之间的角度β来描述。
图5是根据一些实施例的系统500的示意图。系统500可以包括便携式设备100、 与真实对象30相关联的多个短程无线发射器40、处理单元130和服务器50，其可以类 似于参考前面的附图描述的实施例进行配置。
便携式设备100可以是诸如平板电脑或智能手机的手持设备101或者诸如增强现实 耳机的头戴式设备102。两个示例被指示在本图中，示出了用户60将便携式设备持在手中或将其作为耳机佩戴。
用户60例如可以是接近所安装的装备(诸如变电站的设备30)和/或对所安装的装备实行动作的现场操作员或服务技术人员。为了辅助用户60取得关于装备的部件的信息，可以在装备处提供一个或几个发射器40，以便于在由便携式设备100捕获的图像中显示 信息。因此，在用户60将便携式设备朝向装备30，使得由便携式设备100的成像设备 110查看感兴趣的对象(即，装备30或装备的零件)时，来自发射器40的信号被定位设 备接收，并且数据被提供给处理单元130，用于确定便携式设备100相对于设备30的取 向和位置。进一步，可以识别装备的部件或设备，并且可以从远程服务器50请求与部件 或设备相关联的信息。信息然后可以作为显示在便携式设备100上的所捕获的图像中的 虚拟对象呈现给用户。
图6是示出根据一个实施例的用于在图像中定位虚拟对象的方法的流程图，该实施 例可以类似于参考前面的附图描述的实施例。该方法可以包括：通过便携式设备100获取610场景的图像20，其中场景包括真实对象30；以及在便携式设备100处接收620来 自相对于真实对象30布置在预定位置处的短程无线发射器40的信号。在一些实施例中， 该方法可以可选地包括优选地经由所接收的信号从真实对象30本身检索630真实对象 30的身份或特性的步骤。替代性地或附加地，身份可以通过处理635所获取的图像20来 确定，优选地使用人工智能算法，该人工智能算法可以根据图像和关于图像中确定的对 象的身份的信息来更新637或训练。
进一步，该方法可以包括：基于所接收的信号确定640便携式设备100相对于短程无线发射器40的位置和取向；在便携式设备100上显示650所获取的图像20和虚拟对 象10；以及基于便携式设备相对于短程无线发射器40的确定的位置和取向以及基于短 程无线发射器相对于真实对象30的预定位置在所获取的图像20中定位660虚拟对象10。
图7示出了包括计算机可读存储介质730的计算机程序产品710的示例。在这个计算机可读存储介质730上可以存储计算机程序720，其可以使得系统500或便携式设备 100以及与其可操作地耦合的实体和设备(诸如服务器50)执行根据本文描述的实施例 的方法。因此，计算机程序720和/或计算机程序产品510可以提供用于执行本文公开的 动作的装置。
在图7的示例中，计算机程序产品710被示为光学盘，诸如光盘(compact disc，CD)或数字多功能盘(digital versatile disc，DVD)或蓝光光盘。该计算机程序产品还可以被实现为存储器，诸如随机存取存储器(random-access memory，RAM)、只读存储器(read-only memory，ROM)、可擦除可编程只读存储器(erasable programmable read-onlymemory，EPROM)或电可擦除可编程只读存储器(electrically erasable programmableread-only memory，EEPROM)，更特别地实现为外部存储器(诸如通用串行总线(UniversalSerial Bus，USB)存储器或闪存，诸如紧凑型闪存)中的设备的非易失性存储介质。因此，虽然计算机程序720在次被示意性地显示为所描绘的光学盘上的轨道，但是计算机程序720可以以适合于计算机程序产品710的任何方式存储。
上面主要参考几个实施例描述了本发明的构思。然而，如本领域技术人员容易理解 的那样，在由所附专利权利要求限定的发明构思的范围内，除了上文公开的实施例之外的其他实施例同样是可能的。

Claims (16)

1.一种用于在包括真实对象(30)的场景的图像(20)中定位虚拟对象(10，12，14)的方法，所述真实对象形成输电网络和/或配电网络的设备的至少一部分，所述方法包括：
通过便携式设备(100)获取(610)所述场景的图像；并且
在所述便携式设备处，从相对于所述真实对象布置在预定位置处的短程无线发射器(40)接收(620)信号；
至少部分基于与所接收的信号相关联的方向信息确定(640)所述便携式设备相对于所述短程无线发射器的位置和取向；
在所述便携式设备上显示(650)所获取的图像和所述虚拟对象；以及
在所获取的图像中，至少部分地基于所述便携式设备相对于所述短程无线发射器的所确定的位置和取向以及基于所述短程无线发射器相对于所述真实对象的预定位置来定位(660)所述虚拟对象。
2.根据权利要求1所述的方法，其中所述虚拟对象是与所述真实对象的身份和/或特征相关联的图形特征。
3.根据权利要求2所述的方法，还包括检索(630)所述真实对象的所述身份和/或特征，特别是从所接收的信号中检索所述真实对象的所述身份和/或特征。
4.根据权利要求3所述的方法，还包括通过对象识别方法确定(635)所述真实对象的身份。
5.根据权利要求4所述的方法，其中所述对象识别方法包括根据先前获取的真实对象的图像和这些对象的相对应的身份训练的人工智能算法。
6.根据权利要求5所述的方法，还包括通过与服务器通信来更新(637)所述人工智能算法，所述服务器被配置为接收图像和关于在所接收的图像中识别的对象的身份的信息。
7.根据权利要求4所述的方法，其中所述虚拟对象在所获取的图像中的定位还基于所述对象识别方法的输出。
8.根据前述权利要求中任一项所述的方法，其中
通过使用所述便携式设备的天线元件(124)的阵列，确定所接收的信号的到达角AoA(α)；和/或
通过使用所述短程无线发射器的天线元件(42)的阵列，确定所接收的信号的离开角AoD(β)；并且
进一步基于所述AoA和/或所述AoD，由处理单元确定所述便携式设备相对于所述短程无线发射器的位置和取向。
9.根据前述权利要求中任一项所述的方法，其中所述便携式设备相对于所述短程无线发射器的位置还基于所述短程无线发射器的信号强度来确定。
10.根据前述权利要求中任一项所述的方法，其中所述便携式设备相对于所述短程无线发射器的位置还基于三角测量来确定。
11.一种用于在包括真实对象(30)的场景的图像(20)中定位虚拟对象(10，12，14)的系统(500)，包括：
便携式设备(100)，用于输电网络和/或配电网络的设备的检查和维修；
短程无线发射器(40)，布置在相对于所述真实对象的预定位置；以及
处理单元(130)；
其中所述便携式设备被配置成：
获取所述场景的图像，以及
从所述短程无线发射器接收信号；
其中所述处理单元被配置成至少部分地基于与所接收的信号相关联的方向信息来确定所述便携式设备相对于所述短程无线发射器的位置和取向；以及
其中所述便携式设备还被配置成：
显示所获取的图像和所述虚拟对象，以及
至少部分地基于所述便携式设备相对于所述短程无线发射器的所确定的位置和取向以及基于所述短程无线发射器相对于所述真实对象的预定位置，在所获取的图像中定位所述虚拟对象。
12.根据权利要求11所述的系统，其中：
所述便携式设备包括允许确定所接收的信号的到达角AOA(α)的天线元件(124)的阵列，和/或
所述短程无线发射器包括允许确定所接收的信号的离开角AoD(β)的天线元件(42)的阵列；以及
所述处理单元被配置为进一步基于所述AoA和/或所述AoD来确定所述便携式设备相对于所述短程无线发射器的位置和取向。
13.根据权利要求11或12所述的系统，其中所述便携式设备包括定位设备(120)，并且其中所述处理单元还被配置为进一步基于来自所述定位设备的数据来确定所述便携式设备相对于所述短程无线发射器的位置和/或取向，其中所述定位设备包括全球导航卫星系统GNSS、接收器和/或惯性传感器。
14.一种用于输电网络和/或配电网络的设备的检查和维修的便携式设备(100)；包括：
成像设备(110)，被配置为获取包括真实对象(30)的场景的图像；以及
显示设备(140)，被配置为显示所获取的图像；其中：
所述便携式设备被配置为从相对于所述真实对象布置在预定位置处的短程无线发射器(40)接收信号；
所述便携式设备通信连接到处理单元(130)，所述处理单元(130)被配置为至少部分地基于所接收的信号来确定所述便携式设备相对于所述短程无线发射器的位置和取向；以及
所述显示设备(140)还被配置为在所述获取的图像中显示虚拟对象，其中所述虚拟对象在所述获取的图像中的位置至少部分地基于所述便携式设备相对于所述短程无线发射器的所确定的位置和取向以及基于所述短程无线发射器相对于所述真实对象的预定位置。
15.根据权利要求14所述的便携式设备，所述便携式设备是手持显示设备(101)或头戴式显示设备(102)。
16.一种计算机程序产品(710)，包括使根据权利要求11至13所述的系统(500)执行根据权利要求1至10所述的方法的步骤的指令。
CN202111546362.7A 2020-12-16 2021-12-16 具有重叠虚拟信息的便携式显示设备 Pending CN114637372A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP20214548.8A EP4016251A1 (en) 2020-12-16 2020-12-16 Portable display device with overlaid virtual information
EP20214548.8 2020-12-16

Publications (1)

Publication Number Publication Date
CN114637372A true CN114637372A (zh) 2022-06-17

Family

ID=73855062

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111546362.7A Pending CN114637372A (zh) 2020-12-16 2021-12-16 具有重叠虚拟信息的便携式显示设备

Country Status (4)

Country Link
US (1) US11842452B2 (zh)
EP (1) EP4016251A1 (zh)
JP (1) JP7432078B2 (zh)
CN (1) CN114637372A (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230195241A1 (en) * 2021-12-16 2023-06-22 Universal Electronics Inc. Systems and methods for providing control of augmented reality and virtual reality content

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7787992B2 (en) * 2004-12-22 2010-08-31 Abb Research Ltd. Method to generate a human machine interface
EP3361428A1 (en) * 2017-02-10 2018-08-15 Fujitsu Limited Asset location identification system, program and method
US20180365495A1 (en) * 2017-06-19 2018-12-20 Honeywell International Inc. Augmented reality user interface on mobile device for presentation of information related to industrial process, control and automation system, or other system
CN109564351A (zh) * 2016-06-06 2019-04-02 华纳兄弟娱乐公司 混合现实系统
US20190102488A1 (en) * 2017-02-22 2019-04-04 Middle Chart, LLC System for conducting a service call with orienteering
US20190129607A1 (en) * 2017-11-02 2019-05-02 Samsung Electronics Co., Ltd. Method and device for performing remote control

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9348141B2 (en) * 2010-10-27 2016-05-24 Microsoft Technology Licensing, Llc Low-latency fusing of virtual and real content
US9165381B2 (en) * 2012-05-31 2015-10-20 Microsoft Technology Licensing, Llc Augmented books in a mixed reality environment
US20130342572A1 (en) * 2012-06-26 2013-12-26 Adam G. Poulos Control of displayed content in virtual environments
US9448758B2 (en) * 2012-07-18 2016-09-20 The Boeing Company Projecting airplane location specific maintenance history using optical reference points
US10955665B2 (en) * 2013-06-18 2021-03-23 Microsoft Technology Licensing, Llc Concurrent optimal viewing of virtual objects
US10139623B2 (en) * 2013-06-18 2018-11-27 Microsoft Technology Licensing, Llc Virtual object orientation and visualization
US9928438B2 (en) * 2016-03-10 2018-03-27 Conduent Business Services, Llc High accuracy localization system and method for retail store profiling via product image recognition and its corresponding dimension database
KR102474088B1 (ko) * 2016-04-22 2022-12-05 인터디지털 씨이 페이튼트 홀딩스, 에스에이에스 이미지를 합성하기 위한 방법 및 디바이스
CA2943247A1 (en) * 2016-09-27 2018-03-27 Awe Company Ltd. Method and system for dynamically positioning, viewing and sharing location based mixed reality content
US10278048B2 (en) * 2017-01-18 2019-04-30 Johnson Controls Technology Company Systems and methods for enhancing building management system interaction and visualization
IT201700038298A1 (it) * 2017-04-07 2018-10-07 Cefla Soc Cooperativa Metodo e apparato e per la gestione automatizzata di un impianto di verniciatura
JP7337654B2 (ja) 2018-11-13 2023-09-04 株式会社東芝 保全活動サポートシステムおよび保全活動サポート方法
US10776933B2 (en) * 2018-12-06 2020-09-15 Microsoft Technology Licensing, Llc Enhanced techniques for tracking the movement of real-world objects for improved positioning of virtual objects
US11410474B2 (en) * 2019-05-06 2022-08-09 Verizon Patent And Licensing Inc. Vehicle inspection using augmented reality (AR)
US20210133850A1 (en) * 2019-11-06 2021-05-06 Adobe Inc. Machine learning predictions of recommended products in augmented reality environments
US11830147B2 (en) * 2020-05-28 2023-11-28 Comcast Cable Communications, Llc Methods and systems for anchoring objects in augmented or virtual reality

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7787992B2 (en) * 2004-12-22 2010-08-31 Abb Research Ltd. Method to generate a human machine interface
CN109564351A (zh) * 2016-06-06 2019-04-02 华纳兄弟娱乐公司 混合现实系统
EP3361428A1 (en) * 2017-02-10 2018-08-15 Fujitsu Limited Asset location identification system, program and method
US20190102488A1 (en) * 2017-02-22 2019-04-04 Middle Chart, LLC System for conducting a service call with orienteering
US20180365495A1 (en) * 2017-06-19 2018-12-20 Honeywell International Inc. Augmented reality user interface on mobile device for presentation of information related to industrial process, control and automation system, or other system
US20190129607A1 (en) * 2017-11-02 2019-05-02 Samsung Electronics Co., Ltd. Method and device for performing remote control

Also Published As

Publication number Publication date
JP7432078B2 (ja) 2024-02-16
JP2022095589A (ja) 2022-06-28
US11842452B2 (en) 2023-12-12
EP4016251A1 (en) 2022-06-22
US20220189126A1 (en) 2022-06-16

Similar Documents

Publication Publication Date Title
CN112288742B (zh) 用于超声探头的导航方法、装置、存储介质以及电子设备
JP7236565B2 (ja) 位置姿勢決定方法、装置、電子機器、記憶媒体及びコンピュータプログラム
JP2020030204A (ja) 距離測定方法、プログラム、距離測定システム、および可動物体
CN111149133A (zh) 过程控制环境中的虚拟x射线视觉
US20210097103A1 (en) Method and system for automatically collecting and updating information about point of interest in real space
CN112823321B (zh) 对基于多种类型传感器的位置识别结果进行混合的位置定位系统及其方法
US20180121713A1 (en) Systems and methods for verifying a face
US20180137386A1 (en) Object instance identification using three-dimensional spatial configuration
CN111353453B (zh) 用于车辆的障碍物检测方法和装置
KR20180094493A (ko) 실내지도 생성시스템 및 생성방법
CN114063769A (zh) 用于工业增强现实应用的快速激活技术
CN111123340A (zh) 物流配送导航方法及系统、近场定位导航装置、存储介质
US10109111B2 (en) Providing mounting information for assembly of connectable components
KR101573289B1 (ko) 위치 측정 방법 및 이를 이용한 휴대 단말기
US11842452B2 (en) Portable display device with overlaid virtual information
WO2018131546A1 (ja) 情報処理装置、情報処理システム、情報処理方法、および情報処理プログラム
EP3005238B1 (en) Method and system for coordinating between image sensors
CN111508020B (zh) 融合图像与激光雷达的电缆三维位置计算方法、装置
JP2018106439A (ja) 計測支援装置
CN114322990B (zh) 一种用于构建移动机器人地图之数据的采集方法、装置
JP7140710B2 (ja) 情報端末装置及びプログラム
KR100967173B1 (ko) 시각장애인을 위한 길안내 장치 및 이를 이용한 길안내방법
CN115561752B (zh) 一种多源灾情数据联机融合处理的方法和中空无人机
CN116381601A (zh) 空间定位的处理方法、装置、设备和程序产品
CN113759365B (zh) 双目视觉三维光学图像与地基雷达数据融合方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20240110

Address after: Zurich, SUI

Applicant after: Hitachi Energy Co.,Ltd.

Address before: Swiss Baden

Applicant before: Hitachi energy Switzerland AG

TA01 Transfer of patent application right