CN109478769A - 缆线可动区域显示装置、缆线可动区域显示方法和缆线可动区域显示程序 - Google Patents

缆线可动区域显示装置、缆线可动区域显示方法和缆线可动区域显示程序 Download PDF

Info

Publication number
CN109478769A
CN109478769A CN201680087569.3A CN201680087569A CN109478769A CN 109478769 A CN109478769 A CN 109478769A CN 201680087569 A CN201680087569 A CN 201680087569A CN 109478769 A CN109478769 A CN 109478769A
Authority
CN
China
Prior art keywords
cable
movable area
cable movable
information
realistic space
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201680087569.3A
Other languages
English (en)
Inventor
山崎贤人
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Publication of CN109478769A publication Critical patent/CN109478769A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02G—INSTALLATION OF ELECTRIC CABLES OR LINES, OR OF COMBINED OPTICAL AND ELECTRIC CABLES OR LINES
    • H02G1/00—Methods or apparatus specially adapted for installing, maintaining, repairing or dismantling electric cables or lines
    • H02G1/06—Methods or apparatus specially adapted for installing, maintaining, repairing or dismantling electric cables or lines for laying cables, e.g. laying apparatus on vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2113/00—Details relating to the application field
    • G06F2113/16—Cables, cable trees or wire harnesses

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Evolutionary Computation (AREA)
  • Geometry (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Architecture (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)
  • Electric Cable Installation (AREA)

Abstract

缆线可动区域显示装置(10)具有：现实空间信息取得部(11)，其取得与现实空间有关的现实空间信息；用户位置姿态估计部(12)，其根据现实空间信息求出用户的位置和姿态；仿真部(13)，其接收表示布线路径的始端、通过点和末端的布线路径信息(19b、19c)以及表示缆线的容许弯曲半径和所述缆线的长度的缆线信息(19d、19a)，根据布线路径信息(19b、19c)和缆线信息(19d、19a)计算缆线可动区域；图像生成部(14)，其根据由仿真部(13)计算出的缆线可动区域以及由用户位置姿态估计部(12)求出的位置和姿态，生成表示现实空间中的缆线可动区域的虚拟现实的缆线可动区域图像；以及图像显示部(15)，其显示虚拟现实的缆线可动区域图像。

Description

缆线可动区域显示装置、缆线可动区域显示方法和缆线可动 区域显示程序
技术领域
本发明涉及用于在现实空间中重合显示缆线可动区域的缆线可动区域显示装置、缆线可动区域显示方法和缆线可动区域显示程序。
背景技术
已提出如下的使用增强现实(Augmented Reality：AR)的技术：根据基于由摄像机(摄像装置)或传感器(例如深度传感器)等取得的现实空间信息(例如图像数据或与被摄体之间的距离信息)估计出的用户的位置和姿态，生成作为附加信息图像的CG(ComputerGraphics：计算机图形)，如生成的CG好像存在于现实空间中那样，在现实空间中重合描绘CG。此外，还已提出如下技术：根据由摄像机取得的二维图像数据，求出任意三维坐标系下的摄像机的位置和姿态，根据求出的摄像机的位置和姿态，在计算机上生成三维坐标系下的CG，在现实空间中重合描绘已生成的CG。在将这些技术应用于用户(作业员)的作业中的作业辅助系统的情况下，作业员能够观察到好像在现实空间中存在CG中显示的物体那样的状况，因此，能够接受直观且能够容易理解的作业指示。
例如，专利文献1提出有如下的信息显示装置：生成拍摄到的工厂的图像信息内的重叠有对相应设备装置部分进行强调的描绘信息的图像信息，使显示部显示已生成的图像信息。
现有技术文献
专利文献
专利文献1：日本特开2013-117812号公报(摘要、第0009段、图2)
发明内容
发明要解决的课题
一般而言，根据使用的缆线的特性以及布线路径及其周边状况(障碍物的位置等)决定缆线的布线作业中的缆线的布线路径，但是，容许某种程度的容许范围内的偏移。但是，上述现有的装置显示缆线的理想的布线路径，存在无法在现实空间中重合显示缆线的布线路径的容许范围(以下也称作“缆线可动区域”)这样的课题。
本发明正是为了解决上述课题而完成的，其目的在于，提供能够在现实空间中重合显示缆线的布线作业中的缆线可动区域的缆线可动区域显示装置、缆线可动区域显示方法和缆线可动区域显示程序。
用于解决课题的手段
本发明的一个方式的缆线可动区域显示装置在现实空间中重合显示表示缆线的布线路径的容许范围的缆线可动区域，其特征在于，所述缆线可动区域显示装置具有：现实空间信息取得部，其取得与所述现实空间有关的现实空间信息；用户位置姿态估计部，其根据所述现实空间信息求出用户的位置和姿态；仿真部，其接收表示所述布线路径的始端、通过点和末端的布线路径信息以及表示所述缆线的容许弯曲半径和所述缆线的长度的缆线信息，根据所述布线路径信息和所述缆线信息计算所述缆线可动区域；图像生成部，其根据由所述仿真部计算出的所述缆线可动区域以及由所述用户位置姿态估计部求出的所述位置和姿态，生成表示所述现实空间中的所述缆线可动区域的虚拟现实的缆线可动区域图像；以及图像显示部，其显示所述虚拟现实的缆线可动区域图像。
本发明的另一个方式的缆线可动区域显示方法使图像显示部在现实空间中重合显示表示缆线的布线路径的容许范围的缆线可动区域，其特征在于，所述缆线可动区域显示方法具有：现实空间信息取得步骤，取得与所述现实空间有关的现实空间信息；用户位置姿态估计步骤，根据所述现实空间信息求出用户的位置和姿态；仿真步骤，取得表示所述布线路径的始端、通过点和末端的布线路径信息以及表示所述缆线的容许弯曲半径和所述缆线的长度的缆线信息，根据所述布线路径信息和所述缆线信息计算所述缆线可动区域；图像生成步骤，根据在所述仿真步骤中计算出的所述缆线可动区域以及在所述用户位置姿态估计步骤中求出的所述位置和姿态，生成表示所述现实空间中的所述缆线可动区域的虚拟现实的缆线可动区域图像；以及显示步骤，使图像显示部显示所述虚拟现实的缆线可动区域图像。
本发明的另一个方式的缆线可动区域显示程序的特征在于，所述缆线可动区域显示程序用于使计算机执行以下处理，该计算机使图像显示部在现实空间中重合显示表示缆线的布线路径的容许范围的缆线可动区域：现实空间信息取得处理，取得与所述现实空间有关的现实空间信息；用户位置姿态估计处理，根据所述现实空间信息求出用户的位置和姿态；仿真处理，取得表示所述布线路径的始端、通过点和末端的布线路径信息以及表示所述缆线的容许弯曲半径和所述缆线的长度的缆线信息，根据所述布线路径信息和所述缆线信息计算所述缆线可动区域；图像生成处理，根据在所述仿真处理中计算出的所述缆线可动区域以及在所述用户位置姿态估计处理中求出的所述位置和姿态，生成表示所述现实空间中的所述缆线可动区域的虚拟现实的缆线可动区域图像；以及显示处理，使图像显示部显示所述虚拟现实的缆线可动区域图像。
发明效果
根据本发明，能够在现实空间中重合显示要布线的缆线的缆线可动区域。
附图说明
图1是示出本发明的实施方式1的缆线可动区域显示装置的结构和功能的图。
图2是示出实施方式1的缆线可动区域显示装置的硬件结构图。
图3是示出实施方式1的缆线可动区域显示装置中的信息显示处理的一例的流程图。
图4是示出实施方式1的缆线可动区域显示装置中的缆线可动区域的仿真处理的一例的流程图。
图5是示出考虑缆线的长度来求出缆线可动区域的方法的图。
图6是示出缆线的可使用的容许弯曲半径的图。
图7是示出本发明的实施方式2的缆线可动区域显示装置的结构和功能的图。
图8是示出实施方式2的缆线可动区域显示装置中的手的位置检测处理的一例的流程图。
图9是示出实施方式2的缆线可动区域显示装置中的缆线可动区域的仿真处理的一例的流程图。
图10是示出本发明的实施方式3的缆线可动区域显示装置的结构和功能的图。
图11是示出实施方式3的缆线可动区域显示装置中的缆线可动区域的限定处理的一例的流程图。
图12是示出本发明的实施方式4的缆线可动区域显示装置的结构和功能的图。
图13是示出由实施方式4的缆线可动区域显示装置显示的缆线可动区域的显示例的图。
具体实施方式
《1》实施方式1
《1-1》结构
图1是示出本发明的实施方式1的缆线可动区域显示装置10的结构和功能的图。缆线可动区域显示装置10是能够在用户(作业员)前方的现实空间中重合显示表示缆线(绳状物体)的布线路径的容许范围的缆线可动区域的信息显示装置。此外，缆线可动区域显示装置10是能够实施实施方式1的缆线可动区域显示方法的装置。
如图1所示，缆线可动区域显示装置10具有现实空间信息取得部(摄像机、传感器)11、用户位置姿态估计部12、仿真部13、图像生成部14和图像显示部(显示器件)15。此外，缆线可动区域显示装置10也可以具有存储部19，该存储部19存储缆线的长度(L)19a和缆线的容许弯曲半径(R)19d等与缆线有关的信息(缆线信息)、以及缆线的布线预定位置(始端和末端)19b和缆线的通过点19c等与缆线的布线路径有关的信息(布线路径信息)。
缆线可动区域显示装置10例如是佩戴于用户身体的可穿戴型计算机。此外，缆线可动区域显示装置10也可以是台式PC(PersonalComputer：个人计算机)或笔记本PC等的PC。这些情况下，作为现实空间信息取得部11，例如能够使用佩戴于用户头部的摄像机，作为图像显示部15，例如能够使用佩戴于用户眼前的透视型显示器(具有佩戴于用户头部的头戴型构造的头戴显示器)。在使用透视型显示器的情况下，用户通过透视型显示器观察现实空间，并且观察透视型显示器中显示的附加信息图像。但是，图像生成部14能够利用由现实空间信息取得部11取得的图像信息在图像显示部15中显示现实空间，并且，在图像显示部15中重叠显示附加信息图像。
此外，缆线可动区域显示装置10例如也可以是平板终端或智能手机等的便携信息终端。该情况下，作为现实空间信息取得部11，能够使用内置于便携信息终端内的摄像机，作为图像显示部15，能够使用便携信息终端的显示面板。但是，这些情况下，作为现实空间信息取得部11，例如也能够使用佩戴于用户头部的摄像机，作为图像显示部15，例如也能够使用佩戴于用户眼前的透视型显示器。
现实空间信息取得部11取得与现实空间有关的现实空间信息。现实空间信息取得部11例如是通过拍摄现实空间而生成与现实空间对应的图像数据的摄像机。此外，现实空间信息取得部11也可以代替摄像机或在摄像机的基础上，包含取得与现实空间对应的信息的传感器(例如取得与被摄体之间的距离信息的深度传感器等)。
图像显示部15是显示缆线可动区域的CG作为虚拟现实(AR)图像的显示器或投影仪等的信息显示部。图像显示部15例如也可以是具有透明或半透明屏幕的透视型显示器。用户能够通过透视型显示器观察现实空间，并且在现实空间中重合观察在屏幕上作为附加信息图像显示的AR图像(缆线可动区域的CG)。进而，在图像显示部15是投影仪的情况下，投影仪能够将AR图像直接投影到现实空间中而不通过屏幕。例如，作为图像显示部15的投影仪可以在现实存在的地面、墙面、缆线托架、设备(机器)等上显示(投影)作为AR图像的投射图像(表示缆线可动区域的图像)。另外，现实空间信息取得部11和图像显示部15可以是一体型的，或者，也可以是通过连接缆线相互连接的分开的装置。
用户位置姿态估计部12进行根据由现实空间信息取得部11取得的现实空间信息(例如图像数据或与被摄体之间的距离数据等)求出任意三维坐标系下的用户的位置和姿态的处理(用户位置姿态估计处理)。
在存储部19存储有缆线的长度(L)19a和缆线的容许弯曲半径(R)19d等缆线信息以及缆线的布线预定位置(始端和末端)19b和缆线的通过点19c等缆线的布线路径信息。在图1中，存储部19是缆线可动区域显示装置10的一部分，但是，也可以从缆线可动区域显示装置10的外部装置提供缆线信息和缆线的布线路径信息，该情况下，缆线可动区域显示装置10不需要具有存储部19。
仿真部13从存储部19接收表示缆线的布线预定位置(始端和末端)19b和位于始端与末端之间的缆线的通过点19c的布线路径信息、以及表示缆线的容许弯曲半径(R)19d和缆线的长度(L)19a的缆线信息，根据布线路径信息和缆线信息计算(仿真)缆线可动区域的三维图像数据。
图像生成部14根据由仿真部13计算出的缆线可动区域(三维图像)以及由用户位置姿态估计部12求出的用户的位置和姿态，生成表示现实空间中的缆线可动区域的作为AR图像的缆线可动区域图像(二维图像)。换言之，图像生成部14根据由仿真部13计算出的缆线可动区域，在计算机上的三维坐标系中生成三维CG，根据现实空间信息取得部11生成在现实空间中重合描绘(显示)的AR图像。此时，要生成的AR图像是结合图像显示部(显示器的特征)而生成的。
图2是示出实施方式1的缆线可动区域显示装置10的硬件结构图。但是，缆线可动区域显示装置10的硬件结构不限于图2所示的例子，能够进行各种变更。另外，在图2中，标号20、30、40用于在后述实施方式2～4中参照。
缆线可动区域显示装置10例如是计算机。缆线可动区域显示装置10具有CPU(Central Processing Unit：中央处理单元)51、GPU(Graphics Processing Unit：图形处理单元)52、主存储器53、储存器54(即存储部19)和总线58。进而，缆线可动区域显示装置10具有摄像机55、传感器56和显示器件57(即图像显示部15)。摄像机55和传感器56是现实空间信息取得部11的例示。
总线58是用于供缆线可动区域显示装置10的硬件结构部分交换数据的数据转送路径。CPU51是用于供缆线可动区域显示装置10执行各种处理(例如信息显示处理)的运算装置。GPU52是执行与画面的生成或描绘有关的处理的运算装置。
主存储器53是能够进行数据的删除和改写的存储装置(例如半导体存储装置等)。主存储器53是易失性存储器，但是，与储存器54相比，写入和读出速度为高速。因此，主存储器53用于保存使用中的数据或预定马上要使用的数据。例如，进行图3和图4所示的处理的程序在执行程序时存储在主存储器53中。主存储器53中存储的程序由CPU51执行。
储存器54是能够进行数据的删除和改写的存储装置(例如硬盘装置、半导体存储装置等)。储存器54能够用于存储存储部19的数据。储存器54中存储的信息在执行程序时在主存储器53中展开。
摄像机55是拍摄为了取得现实空间的信息而需要的图像的装置。传感器56是取得为了取得现实空间的信息而需要的值的装置。传感器56例如是计测位置的GPS(GlobalPositioning System：全球定位系统)、计测加速度的加速度传感器、计测方位的地磁传感器、计测与被摄体之间的距离的深度传感器。
显示器件57是显示缆线可动区域的AR图像的图像显示部15。显示器件57例如是平板终端或智能手机的显示器。此外，显示器件57可以是头戴显示器、计算机的监视器、投影仪和平视显示器。
《1-2》动作
图3是示出实施方式1的缆线可动区域显示装置10的信息显示处理的一例的流程图。但是，缆线可动区域显示装置10的信息显示处理不限于图3所示的处理，能够进行变更。另外，每当缆线可动区域显示装置10的现实空间信息取得部11中使用的摄像机或传感器取得现实空间的信息时，执行图3所示的信息显示处理。
在步骤S110中，现实空间信息取得部11取得现实空间信息。在现实空间信息取得部11是摄像机的情况下，现实空间信息是摄影图像(图像数据)。在现实空间信息取得部11是检测现实空间信息的传感器的情况下，现实空间信息是传感器的检测值。
在接下来的步骤S120中，用户位置姿态估计部12根据在步骤S110中取得的现实空间信息，计算(估计)用户的位置和姿态。以缆线可动区域显示装置10决定的任意三维坐标系为基准来表示此时的用户的位置和姿态。
在接下来的步骤S130中，仿真部13从存储部19取得缆线的长度19a、缆线的布线预定位置(始端和末端)19b、缆线的通过点19c和缆线的容许弯曲半径19d。
在接下来的步骤S140中，仿真部13根据在步骤S130中取得的缆线信息和布线路径信息，计算(仿真)缆线可动区域。仿真方法的一例如后述图4所示。
在接下来的步骤S150中，图像生成部14根据在步骤S140中得到的仿真结果即缆线可动区域生成三维CG。在接下来的步骤S160中，图像生成部14考虑用户的位置和姿态，以几何学方式对在步骤S150中生成的三维CG进行变换，将其配置在缆线可动区域显示装置10决定的任意三维坐标系中。
在接下来的步骤S170中，图像生成部14根据图像显示部15(显示器件57)的特征，将在步骤S160中配置在三维坐标系下的三维CG变换成二维图像。对在现实空间信息取得部11是摄像机的情况下将该三维CG变换成二维图像的方法进行说明。在如平板等那样在由摄像机拍摄到的图像中合成三维CG的情况下，能够使用摄像机的内部参数(摄像机的焦距等)进行变换。在图像显示部15是透视型显示器(透视型头戴显示器)的情况下，摄像机的光轴和眼睛的光轴不同，因此，在三维CG中在平移和旋转处理的基础上使两个光轴一致后，与摄像机同样地，使用眼睛的内部参数(焦距等)进行变换处理。在图像显示部15是如投影仪那样在现实空间上作为AR图像光进行投影的装置的情况下，针对在计算机上使用摄像机的内部参数进行变换后的图像，通过使用投影仪的内部参数进行反投影的方法，进行变换处理。
在接下来的步骤S180中，由图像显示部15显示在步骤S170的变换处理中得到的AR图像。
图4是示出根据图3中的缆线信息对缆线可动区域进行仿真的处理(图3中的步骤S140)的一例的流程图。但是，根据缆线信息对缆线可动区域进行仿真的处理不限于图4的例子，能够进行变更。
在步骤S210中，仿真部13在三维坐标上设定对缆线进行布线的预定位置(始端和末端)19b和缆线的通过点19c。
在接下来的步骤S220中，如图5所示，仿真部13设在步骤S210中设定的始端为椭圆的焦点A，将始端的下一个通过点设定为椭圆的焦点B。
在接下来的步骤S230中，如图5所示，仿真部13生成具有在步骤S220中设定的焦点A、焦点B且长轴为可使用的缆线的长度[＝(缆线的长度19a)-((已使用的缆线的长度)+(其余路径的最短距离))]的椭圆α。这里，生成椭圆α是因为，椭圆的焦点A、焦点B、椭圆圆周上的点C具有如下特征：
(线段AC)+(线段BC)＝恒定
在步骤S240中，仿真部13使在步骤S230中生成的椭圆α的长轴为中心轴进行旋转，由此生成椭圆体β。该椭圆体β成为仅考虑到缆线长度的缆线可动区域。但是，如图6所示，缆线无法折曲成锐角，具有作为可使用的最小弯曲半径的容许弯曲半径R。因此，在步骤S250中，仿真部13在步骤S240中生成的椭圆体β内，仅提取缆线的弯曲半径大于容许弯曲半径R的区域。
在接下来的步骤S260中，仿真部13使焦点A、焦点B移动到下一个通过点。具体而言，仿真部13设上次处理中的焦点B为上次的下一个处理中的焦点A，设上次的通过点的下一个通过点为上次的下一个处理中的焦点B。
在接下来的步骤S270中，仿真部13判断焦点A是否已到达末端，如果已到达(判断为“是”)，则使处理进入步骤S280，如果未到达(判断为“否”)，则使处理返回步骤S230。
在接下来的步骤S280中，仿真部13设提取出的区域为缆线可动区域，向图像生成部14提供缆线可动区域信息。
图像生成部14根据由仿真部13计算出的缆线可动区域(三维CG)以及由用户位置姿态估计部12求出的用户的位置和姿态，生成表示现实空间中的缆线可动区域的作为AR图像的缆线可动区域图像(二维图像)，使图像显示部15进行显示。
《1-3》效果
如以上说明的那样，根据实施方式1的缆线可动区域显示装置10或缆线可动区域显示方法，对缆线可动区域进行仿真，根据仿真后的缆线可动区域以及用户的位置和姿态生成AR图像，在现实空间中重合显示缆线可动区域的AR图像，或者在现实空间图像上重合显示缆线可动区域的AR图像。因此，能够对于作业员来说直观且容易理解地显示结合缆线的特征的缆线可动区域。
《2》实施方式2
在上述实施方式1的缆线可动区域显示装置10中，仿真部13根据缆线信息(缆线的长度19a、缆线的容许弯曲半径19d)和布线路径信息(表示布线预定位置19b的始端和末端、通过点19c)计算缆线可动区域，图像生成部14根据由仿真部13计算出的缆线可动区域生成AR图像，使图像显示部15显示从始端到末端的缆线可动区域的三维CG图像，或者，由作为图像显示部15的投影仪将缆线可动区域的AR图像投影到现实空间上。
与此相对，在本发明的实施方式2的缆线可动区域显示装置20中，执行如下的处理：手位置检测部21检测布线作业中途的作业员(用户)的手的位置，图像生成部14在图像显示部15上显示从手的位置到末端的缆线可动区域作为三维CG图像，或者，作为图像显示部15的投影仪在现实空间上显示从手的位置到末端的缆线可动区域作为AR图像。
图7是示出实施方式2的缆线可动区域显示装置20的结构和功能的图。在图7中，对与图1(实施方式1)所示的结构要素相同或对应的结构要素标注与图1所示的标号相同的标号。实施方式2的缆线可动区域显示装置20与实施方式1的缆线可动区域显示装置10的不同之处在于，具有根据由现实空间信息取得部11取得的现实空间的信息检测作业员的手的位置的手位置检测部21这点以及仿真部23的处理内容这点。除了这两点以外，实施方式2的缆线可动区域显示装置20和缆线可动区域显示方法与实施方式1的缆线可动区域显示装置10和缆线可动区域显示方法相同。
图8是示出实施方式2的缆线可动区域显示装置20中的手位置检测部21的处理的一例的流程图。但是，手的位置检测处理不限于图8所示的方法，也可以是不同的处理。在现实空间信息取得部11包含摄像机的情况下，每当摄像机拍摄图像时(例如按照一定时间间隔)进行图8所示的手的位置检测处理。此外，在现实空间信息取得部11包含深度传感器的情况下，每当更新与被摄体之间的距离信息时(例如按照一定时间间隔)进行图8所示的手的位置检测处理。另外，在图8中，对现实空间信息取得部11包含摄像机和深度传感器的情况进行说明。
在图8的步骤S310中，手位置检测部21根据由现实空间信息取得部11取得的摄像机图像，检测与手的颜色(根据手的特征而预先决定的颜色)相近的颜色的像素。此外，手位置检测部21也可以不检测与手的颜色相近的颜色的像素，而是根据热图像检测与手的体温相近的像素。此外，手位置检测部21也可以在手的位置的检测中使用与手的颜色相近的颜色的像素和与手的体温相近的像素双方。在接下来的步骤S320中，手位置检测部21对在步骤S310中检测到的图像贴标签。在接下来的步骤S330中，手位置检测部21将在步骤S320中被贴标签的区域中的、缆线(绳状物体)通过的区域识别为手。在接下来的步骤S340中，手位置检测部21根据现实空间信息取得部11的深度传感器取得的距离信息，计算(估计)在步骤S330中识别出的手的位置。
图9是示出实施方式2的缆线可动区域显示装置20中的缆线可动区域的仿真处理的一例的流程图。在图9中，对与图4(实施方式1)所示的处理步骤相同或对应的处理步骤标注与图4所示的步骤记号相同的步骤记号。图9所示的仿真处理与图4(实施方式1)所示的仿真处理的不同之处在于具有步骤S221和S222。
在步骤S221中，手位置检测部21通过图8所示的手的位置检测处理来检测手的位置。在手的位置的检测成功的情况下(步骤S221：是)，仿真部23在步骤S222中将椭圆的焦点A变更成手的位置，进行步骤S230的处理。在手的位置的检测失败的情况下(步骤S221：否)，仿真部23进行步骤S230的处理。除了上述以外，图9的仿真处理与图4(实施方式1)的仿真处理相同。
如以上说明的那样，根据实施方式2的缆线可动区域显示装置20或缆线可动区域显示方法，对缆线可动区域进行仿真，根据仿真后的缆线可动区域以及用户的位置和姿态生成AR图像，在现实空间中重合显示缆线可动区域的AR图像。因此，在实施方式2中，能够对于作业员来说直观且容易理解地显示结合缆线的特征的缆线可动区域。此外，作业员在作业中也能够以实际时间显示缆线可动区域，因此，能够进行更加适当地与状况对应的显示，能够对于作业员来说直观且容易理解地进行显示。
《3》实施方式3
在上述实施方式2中，说明了作业员在缆线布线的作业中也以实际时间对缆线可动区域进行更新的缆线可动区域显示装置20和缆线可动区域显示方法。但是，在表示缆线的布线路径的容许范围的缆线可动区域内可能存在成为缆线布线(设置)障碍的障碍物。此外，在一边更新(变更)缆线可动区域一边进行作业的情况下，在更新后的缆线可动区域内可能存在当初未预计到的障碍物。因此，在本发明的实施方式3的缆线可动区域显示装置30和缆线可动区域显示方法中，进行如下的处理：仿真部33识别缆线可动区域中的三维形状的部位作为存在障碍物的障碍物区域，仿真部33将障碍物区域从缆线可动区域中排除。
图10是示出实施方式3的缆线可动区域显示装置30的结构和功能的图。在图10中，对与图7(实施方式2)所示的结构要素相同或对应的结构要素标注与图7所示的标号相同的标号。实施方式3的缆线可动区域显示装置30与实施方式2的缆线可动区域显示装置20的不同之处在于，仿真部33从现实空间信息取得部11取得现实空间信息并检测缆线可动区域中的三维形状的部位作为存在障碍物的障碍物区域这点、以及从缆线可动区域中除去障碍物区域而生成新的缆线可动区域这点。除了这两点以外，实施方式3的缆线可动区域显示装置30和缆线可动区域显示方法与实施方式2的缆线可动区域显示装置20和缆线可动区域显示方法相同。
图11是示出实施方式3的缆线可动区域显示装置30中的缆线可动区域的限定处理的一例的流程图。实施方式3中的限定缆线可动区域的处理是在图4或图9中的步骤S270与S280之间进行的处理。在步骤S410中，仿真部33根据由现实空间信息取得部11取得的距离图像，取得缆线可动区域周边的三维形状。在接下来的步骤S420中，仿真部33从在步骤S250中提取出的区域中去除该提取出的区域与在步骤S410中取得的三维形状的区域的公共部分，生成限定后的缆线可动区域。但是，手的位置检测处理也可以是与图11不同的处理。
如以上说明的那样，实施方式3的缆线可动区域显示装置30和缆线可动区域显示方法的特征在于，从现实空间信息取得部11向仿真部13提供数据。根据该特征，当在布线路径内存在障碍物的情况下，能够限定缆线可动区域，因此，能够进行更加与状况对应的显示，能够对于作业员来说直观且容易理解地进行显示。
《4》实施方式4
上述实施方式1～3的缆线可动区域显示装置10、20、30中的图像生成部14使图像显示部15(显示器件57)显示根据缆线可动区域的三维CG变换而成的二维图像，或者，通过作为图像显示部15的投影仪将缆线可动区域的AR图像投影到现实空间上。但是，根据显示器件的特征(例如种类、像素数、分辨率、画面尺寸等)，有时无法以容易充分理解进深信息等的方式显示对三维CG进行投影变换而生成的二维图像。因此，实施方式4的缆线可动区域显示装置40的图像生成部44具有如下的功能：根据缆线可动区域的三维CG的厚度信息，在二维图像中附加颜色信息(基于相互不同的多个颜色的显示或基于多个阶段的深浅差异的显示)。
图12是示出实施方式4的缆线可动区域显示装置40的结构和功能的图。在图12中，对与图1(实施方式1)所示的结构要素相同或对应的结构要素标注与图1所示的标号相同的标号。如图13所示，实施方式4的缆线可动区域显示装置40与实施方式1的缆线可动区域显示装置10的不同之处在于，图像生成部44具有如下的功能：根据缆线可动区域的三维CG的厚度信息，在二维图像中附加颜色信息(基于相互不同的多个颜色的显示或基于多个阶段的深浅差异的显示)。除了这点以外，实施方式4的缆线可动区域显示装置40和可动区域显示方法与实施方式1的缆线可动区域显示装置10和可动区域显示方法相同。
图13是示出由实施方式4的缆线可动区域显示装置40的图像生成部44显示在图像显示部15中的缆线可动区域的显示例的图。例如，图像生成部44能够采用如下的显示方法：利用红色显示在三维CG中厚度最厚的部位，随着三维CG中的厚度变薄，从红色逐渐变化成蓝色(使用多个颜色对厚度进行强调显示的方法)。此外，图像生成部44能够采用如下的显示方法：利用深色显示三维CG中厚度最厚的部位，随着三维CG中的厚度变薄，使深色逐渐变化成浅色(使用渐变对厚度进行强调显示的方法)。此外，在图像显示部15是投影仪的情况下，图像生成部44能够采用如下的显示方法：利用深色显示投影到现实空间上的AR图像中厚度最厚的部位，随着厚度变薄，使深色逐渐变化成浅色(使用渐变对厚度进行强调显示的方法)。
如以上说明的那样，根据实施方式4的缆线可动区域显示装置40和可动区域显示方法，在将缆线可动区域的三维CG变换成二维图像并显示在图像显示部15(显示器件57)中时，通过不同的多个颜色或颜色的深浅，附加缆线可动区域的厚度信息。通过采用这种显示，作业员不仅能够得知根据三维CG变换后的二维图像，还能够得知与厚度有关的颜色信息或深浅信息。因此，根据实施方式4的缆线可动区域显示装置40和可动区域显示方法，能够向作业员提供直观且容易理解的缆线可动区域的显示。
另外，还能够将实施方式4中的图像生成部44的处理应用于实施方式2或3。
标号说明
10、20、30、40：缆线可动区域显示装置(信息显示装置)；11：现实空间信息取得部(摄像机、传感器)；12：用户位置姿态估计部；13、23、33：仿真部；14、44：图像生成部；15：图像显示部；19：存储部；19a：缆线的长度；19b：缆线的布线预定位置(始端和末端)；19c：缆线的通过点；19d：缆线的容许弯曲半径；21：手位置检测部；51：CPU；52：GPU；53：主存储器；54：储存器；55：摄像机；56：传感器；57：显示器件；58：总线。

Claims (13)

1.一种缆线可动区域显示装置，其在现实空间中重合显示表示缆线的布线路径的容许范围的缆线可动区域，其特征在于，所述缆线可动区域显示装置具有：
现实空间信息取得部，其取得与所述现实空间有关的现实空间信息；
用户位置姿态估计部，其根据所述现实空间信息求出用户的位置和姿态；
仿真部，其接收表示所述布线路径的始端、通过点和末端的布线路径信息以及表示所述缆线的容许弯曲半径和所述缆线的长度的缆线信息，根据所述布线路径信息和所述缆线信息计算所述缆线可动区域；
图像生成部，其根据由所述仿真部计算出的所述缆线可动区域以及由所述用户位置姿态估计部求出的所述位置和姿态，生成表示所述现实空间中的所述缆线可动区域的虚拟现实的缆线可动区域图像；以及
图像显示部，其显示所述虚拟现实的缆线可动区域图像。
2.根据权利要求1所述的缆线可动区域显示装置，其特征在于，
所述缆线可动区域显示装置还具有手位置检测部，该手位置检测部根据所述现实空间信息检测所述用户的手的位置，
所述仿真部将所述手的位置视为所述布线路径信息中包含的所述通过点，计算所述缆线可动区域。
3.根据权利要求1或2所述的缆线可动区域显示装置，其特征在于，
所述仿真部根据所述现实空间信息检测所述缆线可动区域内存在的三维形状的部位作为存在障碍物的障碍物区域，输出从所述缆线可动区域中除去所述障碍物区域后的区域作为新的缆线可动区域。
4.根据权利要求1～3中的任意一项所述的缆线可动区域显示装置，其特征在于，
所述图像生成部在所述虚拟现实的缆线可动区域图像中附加与所述缆线可动区域的三维形状对应的附加信息。
5.根据权利要求4所述的缆线可动区域显示装置，其特征在于，
所述附加信息包含颜色的差异和深浅的差异中的至少一方。
6.根据权利要求1～5中的任意一项所述的缆线可动区域显示装置，其特征在于，
所述图像显示部具有使光透过而显示所述虚拟现实的缆线可动区域图像的透视型显示器。
7.根据权利要求1～5中的任意一项所述的缆线可动区域显示装置，其特征在于，
所述图像显示部具有将所述虚拟现实的缆线可动区域图像投影到现实空间上的投影仪。
8.根据权利要求1～5中的任意一项所述的缆线可动区域显示装置，其特征在于，
所述图像生成部根据由所述现实空间信息取得部取得的图像信息在所述图像显示部显示所述现实空间，并且在图像显示部显示所述虚拟现实的缆线可动区域。
9.根据权利要求1～8中的任意一项所述的缆线可动区域显示装置，其特征在于，
所述缆线可动区域显示装置还具有存储部，该存储部存储所述布线路径信息和所述缆线信息，
所述仿真部根据所述存储部中存储的所述布线路径信息和所述缆线信息计算所述缆线可动区域。
10.根据权利要求1～9中的任意一项所述的缆线可动区域显示装置，其特征在于，
所述现实空间信息取得部包含取得作为所述现实空间信息的图像数据的摄像机和取得作为所述现实空间信息的检测值的传感器中的至少一方。
11.根据权利要求1～10中的任意一项所述的缆线可动区域显示装置，其特征在于，
所述现实空间信息取得部和所述图像显示部具有佩戴在所述用户的头部的头戴型构造。
12.一种缆线可动区域显示方法，使图像显示部在现实空间中重合显示表示缆线的布线路径的容许范围的缆线可动区域，其特征在于，所述缆线可动区域显示方法具有：
现实空间信息取得步骤，取得与所述现实空间有关的现实空间信息；
用户位置姿态估计步骤，根据所述现实空间信息求出用户的位置和姿态；
仿真步骤，取得表示所述布线路径的始端、通过点和末端的布线路径信息以及表示所述缆线的容许弯曲半径和所述缆线的长度的缆线信息，根据所述布线路径信息和所述缆线信息计算所述缆线可动区域；
图像生成步骤，根据在所述仿真步骤中计算出的所述缆线可动区域以及在所述用户位置姿态估计步骤中求出的所述位置和姿态，生成表示所述现实空间中的所述缆线可动区域的虚拟现实的缆线可动区域图像；以及
显示步骤，使图像显示部显示所述虚拟现实的缆线可动区域图像。
13.一种缆线可动区域显示程序，其特征在于，所述缆线可动区域显示程序用于使计算机执行以下处理，该计算机使图像显示部在现实空间中重合显示表示缆线的布线路径的容许范围的缆线可动区域：
现实空间信息取得处理，取得与所述现实空间有关的现实空间信息；
用户位置姿态估计处理，根据所述现实空间信息求出用户的位置和姿态；
仿真处理，取得表示所述布线路径的始端、通过点和末端的布线路径信息以及表示所述缆线的容许弯曲半径和所述缆线的长度的缆线信息，根据所述布线路径信息和所述缆线信息计算所述缆线可动区域；
图像生成处理，根据在所述仿真处理中计算出的所述缆线可动区域以及在所述用户位置姿态估计处理中求出的所述位置和姿态，生成表示所述现实空间中的所述缆线可动区域的虚拟现实的缆线可动区域图像；以及
显示处理，使图像显示部显示所述虚拟现实的缆线可动区域图像。
CN201680087569.3A 2016-07-26 2016-07-26 缆线可动区域显示装置、缆线可动区域显示方法和缆线可动区域显示程序 Pending CN109478769A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2016/071824 WO2018020568A1 (ja) 2016-07-26 2016-07-26 ケーブル可動域表示装置、ケーブル可動域表示方法、及びケーブル可動域表示プログラム

Publications (1)

Publication Number Publication Date
CN109478769A true CN109478769A (zh) 2019-03-15

Family

ID=61016906

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680087569.3A Pending CN109478769A (zh) 2016-07-26 2016-07-26 缆线可动区域显示装置、缆线可动区域显示方法和缆线可动区域显示程序

Country Status (4)

Country Link
US (1) US20190243461A1 (zh)
JP (1) JP6440909B2 (zh)
CN (1) CN109478769A (zh)
WO (1) WO2018020568A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7196631B2 (ja) * 2019-01-23 2022-12-27 日本電気株式会社 配線作業検査システム、情報処理装置、配線作業検査方法、及びプログラム
WO2021023364A1 (en) * 2019-08-03 2021-02-11 Selfsun S.A. Virtual reality system and related method
JP6994529B2 (ja) * 2020-03-25 2022-01-14 東芝インフォメーションシステムズ株式会社 測距システム、測距方法及び情報処理装置
WO2022046340A1 (en) * 2020-08-31 2022-03-03 Sterling Labs Llc Object engagement based on finger manipulation data and untethered inputs

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH082389B2 (ja) * 1993-02-22 1996-01-17 株式会社電通プロックス 映像利用のシミュレーション装置
CN1452071A (zh) * 2002-04-15 2003-10-29 Kaj株式会社 显示虚拟现实空间的方法和装置,以及记录媒体
JP2004184095A (ja) * 2002-11-29 2004-07-02 Mitsubishi Heavy Ind Ltd 検査支援装置
JP2009059325A (ja) * 2007-09-04 2009-03-19 Kanto Auto Works Ltd ワイヤハーネスの可動範囲解析方法及び装置
CN101930125A (zh) * 2009-06-22 2010-12-29 索尼公司 头戴型显示器以及头戴型显示器中的图像显示方法
CN102047199A (zh) * 2008-04-16 2011-05-04 虚拟蛋白质有限责任公司 交互式虚拟现实图像生成系统
JP2013117812A (ja) * 2011-12-02 2013-06-13 Toshiba Corp プラント監視情報表示システム、およびプラント監視情報表示装置、プラント監視情報表示方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4082599B2 (ja) * 2002-09-09 2008-04-30 矢崎総業株式会社 ワイヤーハーネスのバラツキ予測方法、その装置及びそのプログラム
JP4393169B2 (ja) * 2003-12-04 2010-01-06 キヤノン株式会社 複合現実感提示方法および装置
WO2011080882A1 (ja) * 2009-12-28 2011-07-07 パナソニック株式会社 動作空間提示装置、動作空間提示方法およびプログラム
CA2896985A1 (en) * 2013-01-03 2014-07-10 Meta Company Extramissive spatial imaging digital eye glass for virtual or augmediated vision
JP6360356B2 (ja) * 2014-05-28 2018-07-18 株式会社ランドマークテクノロジー 干渉チェックシステム
US20160147408A1 (en) * 2014-11-25 2016-05-26 Johnathan Bevis Virtual measurement tool for a wearable visualization device

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH082389B2 (ja) * 1993-02-22 1996-01-17 株式会社電通プロックス 映像利用のシミュレーション装置
CN1452071A (zh) * 2002-04-15 2003-10-29 Kaj株式会社 显示虚拟现实空间的方法和装置,以及记录媒体
JP2004184095A (ja) * 2002-11-29 2004-07-02 Mitsubishi Heavy Ind Ltd 検査支援装置
JP2009059325A (ja) * 2007-09-04 2009-03-19 Kanto Auto Works Ltd ワイヤハーネスの可動範囲解析方法及び装置
CN102047199A (zh) * 2008-04-16 2011-05-04 虚拟蛋白质有限责任公司 交互式虚拟现实图像生成系统
CN101930125A (zh) * 2009-06-22 2010-12-29 索尼公司 头戴型显示器以及头戴型显示器中的图像显示方法
JP2013117812A (ja) * 2011-12-02 2013-06-13 Toshiba Corp プラント監視情報表示システム、およびプラント監視情報表示装置、プラント監視情報表示方法

Also Published As

Publication number Publication date
JP6440909B2 (ja) 2018-12-19
WO2018020568A1 (ja) 2018-02-01
US20190243461A1 (en) 2019-08-08
JPWO2018020568A1 (ja) 2019-01-31

Similar Documents

Publication Publication Date Title
AU2020202551B2 (en) Method for representing points of interest in a view of a real environment on a mobile device and mobile device therefor
US8850337B2 (en) Information processing device, authoring method, and program
US10353482B2 (en) Systems and methods for tracking motion and gesture of heads and eyes
JP4137078B2 (ja) 複合現実感情報生成装置および方法
EP2879022A1 (en) Three-dimensional user-interface device, and three-dimensional operation method
CN110926334B (zh) 测量方法、装置、电子设备及存储介质
TW201243387A (en) Color channels and optical markers
CN109478769A (zh) 缆线可动区域显示装置、缆线可动区域显示方法和缆线可动区域显示程序
CN109782901A (zh) 增强现实交互方法、装置、计算机设备及存储介质
JP2005326275A (ja) 情報処理方法および装置
JP2016122392A (ja) 情報処理装置、情報処理システム、その制御方法及びプログラム
JP2020052790A (ja) 情報処理装置、情報処理方法、およびプログラム
US20240031678A1 (en) Pose tracking for rolling shutter camera
CN110310325A (zh) 一种虚拟测量方法、电子设备及计算机可读存储介质
US11275434B2 (en) Information processing apparatus, information processing method, and storage medium
CN108682282A (zh) 一种基于ARKit框架的增强现实版化学元素周期表的交互方法
CN115862124A (zh) 视线估计方法、装置、可读存储介质及电子设备
JP2008040913A (ja) 情報処理方法、情報処理装置
KR101783156B1 (ko) Ar 마커를 이용한 물리적 프로그래밍 정보를 인식하는 방법 및 장치
JP2016058043A (ja) 情報処理装置、情報処理方法、プログラム
JP3668168B2 (ja) 動画像処理装置
JP7479978B2 (ja) 内視映像表示システム、内視映像表示装置及び内視映像表示方法
JP7463697B2 (ja) 光沢取得状態算出装置、光沢取得状態算出方法、光沢取得状態算出プログラム、端末及び光沢取得状態表示プログラム
KR20180055764A (ko) 지형정보 인식을 기반으로 증강현실 오브젝트를 표시하는 방법 및 그 장치
JP2005063463A (ja) 動画像処理装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
AD01 Patent right deemed abandoned
AD01 Patent right deemed abandoned

Effective date of abandoning: 20210129