CN107016726B - 叠加显示方法和叠加显示设备 - Google Patents

叠加显示方法和叠加显示设备 Download PDF

Info

Publication number
CN107016726B
CN107016726B CN201610971866.6A CN201610971866A CN107016726B CN 107016726 B CN107016726 B CN 107016726B CN 201610971866 A CN201610971866 A CN 201610971866A CN 107016726 B CN107016726 B CN 107016726B
Authority
CN
China
Prior art keywords
image
model
superimposed
overlay
instruction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610971866.6A
Other languages
English (en)
Other versions
CN107016726A (zh
Inventor
青柳知宏
沼田阳次郎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Publication of CN107016726A publication Critical patent/CN107016726A/zh
Application granted granted Critical
Publication of CN107016726B publication Critical patent/CN107016726B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/003Navigation within 3D models or images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/14Transformations for image registration, e.g. adjusting or mapping for alignment of images
    • G06T3/147Transformations for image registration, e.g. adjusting or mapping for alignment of images using affine transformations
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/20Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • G06T7/001Industrial image inspection using an image reference approach
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20092Interactive image processing based on input by user
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30164Workpiece; Machine component
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20Indexing scheme for editing of 3D models
    • G06T2219/2012Colour editing, changing, or manipulating; Use of colour codes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/20Linear translation of whole images or parts thereof, e.g. panning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/60Rotation of whole images or parts thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Architecture (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

公开了叠加显示方法和叠加显示设备。计算机以使得边缘线和脊线能够被选择的方式,显示从图像拍摄设备所拍摄的空间结构的拍摄图像中提取的多个边缘线,以及该空间结构的模型信息所表示的模型图像中包括的多个脊线。然后,计算机接受用于指示覆盖目标的边缘线和脊线的选择指令。最后,根据所接受的选择指令,计算机显示叠加图像,在所述叠加图像中,模型图像以使得覆盖目标的边缘线和脊线彼此覆盖的方式被叠加到拍摄图像上。

Description

叠加显示方法和叠加显示设备
技术领域
本文所讨论的实施方式涉及叠加显示方法和叠加显示设备。
背景技术
在钢铁工业中构建诸如钢塔和桥梁的空间结构时,在从基于计算机辅助设计(基于CAD)的设计到现场组装的步骤中可以执行部件加工过程、焊接过程和试验性组装过程。在试验性组装过程之后,将部件运送到施工现场以执行现场组装。在部件加工过程中,加工空间结构的钢部件;在焊接过程中,试验性地焊接钢部件,诊断试验性焊接,并且执行常规焊接;在试验性组装过程中,执行试验性组装、拆卸、涂装和诊断。
这样的空间结构通常是一个大项目。因此,通过将试验性焊接或涂装的对象与在设计过程中创建的三维CAD模型进行比较的目视检查,来频繁地执行焊接过程和试验性组装过程中的诊断。
如果在诊断中忽视了焊接过程中的故障而在试验性组装任务期间发现了该故障,则会发生从试验性组装过程到部件加工过程的返回操作。如果在诊断中忽视了试验性组装处理中的故障而在现场组装任务期间发现该故障,则会发生从现场组装到部件加工过程的返回操作。
在图像处理领域中,还已知用于叠加和显示对象的图像以及三维模型的图像的技术(参见例如专利文献1至3)。
专利文献1:日本专利公开第2010-211746号
专利文献2:日本专利公开第11-239989号
专利文献3:国际公开第WO 2012/173141号
发明内容
本发明的一方面的目的是提高将空间结构与模型信息所表示的模型进行比较的检查任务的效率。
根据实施方式的一个方面,计算机执行以下处理。
(1)计算机以使得边缘线和脊线能够被选择的方式,显示从图像拍摄设备所拍摄的空间结构的拍摄图像中提取的多个边缘线,以及该空间结构的模型信息所表示的模型图像中包括的多个脊线。
(2)计算机接受用于指示覆盖目标的边缘线和脊线的选择指令。
(3)根据所接受的选择指令,计算机显示叠加图像,在所述叠加图像中,模型图像以使得覆盖目标的边缘线和脊线彼此覆盖的方式被叠加到拍摄图像上。
附图说明
图1是第一叠加显示设备的功能配置图。
图2是第一叠加显示处理的流程图。
图3是第二叠加显示设备的功能配置图。
图4是第二叠加显示处理的流程图。
图5是示出叠加显示设备的具体示例的功能配置图。
图6A是示出叠加显示处理(部分1)的具体示例的流程图。
图6B是示出叠加显示处理(部分2)的具体示例的流程图。
图7示出了拍摄图像。
图8示出了模型信息。
图9示出了边缘线。
图10示出了脊线。
图11示出了多边形。
图12示出了模型图像。
图13示出了模型图像的大小的调整。
图14示出了模型图像的方向的调整。
图15示出了模型图像的位置的调整。
图16示出了所选择的边缘线和脊线。
图17示出了在取消之后的边缘线和脊线。
图18示出了边缘线和脊线的四种组合。
图19示出了组合信息。
图20示出叠加图像。
图21示出了叠加显示处理。
图22是调整处理的流程图。
图23示出了调整处理。
图24是信息处理设备的配置图。
具体实施方式
下面参照附图详细描述实施方式。
诊断方法的数字化还未被开发用于构造空间结构的传统任务。因此,为了防止在试验性组装和现场组装中发生返回操作,在将对象与三维CAD模型进行比较的视觉检查上要花费一定的任务时间。部件数量的增加导致了要诊断的空间结构的更多部分,从而延长了视觉检查的任务时间。此外,在短时间内培养能够进行准确分析的熟练操作者是不容易的,可能需要数年来培养这样的熟练操作者。
这样的问题不限于构建钢塔、桥梁等的任务中的诊断,并且出现在将另一空间结构和该结构的模型信息所表示的模型进行比较的检查任务中。
图1示出了第一叠加显示设备的示例性功能配置。图1中的叠加显示设备101包括显示单元111和接受单元112。
图2是示出由图1的叠加显示设备101执行的第一叠加显示处理的示例的流程图。显示单元111以下述方式显示从图像拍摄设备所拍摄的空间结构的拍摄图像中提取的边缘线,以及由该空间结构的模型信息表示的模型图像中所包括的脊线:使得这些线可以被选择(步骤201)。
接受单元112接受用于指示覆盖目标的边缘线和脊线的选择指令(步骤202)。根据由接受单元112接受的选择指令,显示单元111显示下述叠加图像:在所述叠加图像中,模型图像以使得覆盖目标的边缘线和脊线彼此覆盖的方式被叠加到拍摄图像上。
图1中的叠加显示设备101可以提高将空间结构与模型信息所表示的模型进行比较的检查任务的效率。
图3示出了第二叠加显示设备的示例性功能配置。图3中的叠加显示设备301包括显示单元311、接受单元312和控制单元313。
图4是示出由图3的叠加显示设备301执行的第二叠加显示处理的示例的流程图。显示单元311显示由图像拍摄设备拍摄的空间结构的拍摄图像,以及由该空间结构的模型信息表示的模型图像(步骤401)。
在接受单元312接受叠加显示指令之前和之后,控制单元313在针对拍摄图像和模型图像应当接受单独的改变指令的规则和针对拍摄图像和模型图像应当接受共同的改变指令的规则之间进行切换(步骤402)。叠加显示指令是用以显示下述叠加图像的指令:在该叠加图像中,模型图像以使拍摄图像上的参考位置和模型图像上的参考位置彼此覆盖的方式被叠加到拍摄图像上。改变指令是对拍摄图像或模型图像进行放大、缩小、移动或旋转的指令。
图3中的叠加显示设备301可以提高将空间结构和模型信息所表示的模型进行比较的检查任务的效率。
图5示出了图1中的叠加显示设备101或者图3中的叠加显示设备301的具体示例。图5中的叠加显示设备501包括接受单元511、控制单元512、显示单元513和存储单元514。接受单元511对应于图1中的接受单元112和图3中的接受单元312;控制单元512对应于图3中的控制单元313;显示单元513对应于图1中的显示单元111和图3中的显示单元311。
存储单元514存储一个或多个拍摄图像521、一个或多个模型文件522、模型图像523、组合信息524、叠加图像525和改变信息526。拍摄图像521是由图像拍摄设备(例如相机)拍摄的空间结构的图像,并且可以包括指示图像拍摄设备的视角的信息。模型文件522是表示空间结构的三维CAD模型的模型信息,并且包括在三维CAD模型中所包括的多个顶点的顶点信息以及多个线段的线段信息。
模型图像523是由模型文件522表示的三维CAD模型的图像。组合信息524指示已经由操作者选择的覆盖目标的边缘线和脊线的组合。叠加图像525是其中模型图像523已被叠加到拍摄图像521上的图像。改变信息526指示是否接受针对拍摄图像521和模型图像523的单独的改变指令,或者是否接受针对拍摄图像521和模型图像523的共同的改变指令,所述改变指令是对图像进行放大、缩小、移动或旋转的指令。
叠加显示设备501可以是便携式终端设备例如平板电脑、笔记本计算机或智能电话,或者可以是固定终端设备例如台式计算机。
图6A和图6B是示出由图5中的叠加显示设备501执行的叠加显示处理的具体示例的流程图。操作者输入用于指定拍摄图像521和模型文件522的指令,接受单元511接受输入的指令(步骤601)。显示单元513将接受单元511接受的指令所指定的拍摄图像521显示在屏幕上(步骤602)。
图7示出了所显示的拍摄图像521的示例。矩形拍摄图像701对应于立方体空间结构的侧表面。
图8示出了在图7的拍摄图像701中看到的空间结构的模型文件522所表示的示例性三维CAD模型。模型文件522的顶点信息包括立方体的顶点801等的标识信息和三维坐标;模型文件522的线段信息包括线段802和803等的标识信息,以及表示每个线段的两端处的两个顶点的标识信息。
控制单元512执行边缘检测处理,以从拍摄图像521中提取边缘线(步骤603),并且将所提取的边缘线显示在屏幕上(步骤604)。在此情况下,控制单元512可以仅提取直边缘线,或者可以提取直边缘线和弯曲边缘线。
图9示出从图7的拍摄图像701提取的示例性边缘线。边缘线901至904各自是从拍摄图像701的矩形的四个边中的相应一个提取的。
使用模型文件522的顶点信息和线段信息,控制单元512生成三维CAD模型的脊线(步骤605)。例如,控制单元512可以从线段信息中所包括的多个线段中仅提取表示三维CAD模型的轮廓特征的线段,并且可以使用所提取的线段作为脊线。
图10示出了从图8的三维CAD模型生成的示例性脊线。图8中的线段802对应于立方体的边缘并且表示轮廓特征,因此线段802被提取为脊线1001。同时,线段803被包括在立方体的侧表面上并且不表示轮廓特征,因此线段803不被提取为脊线。
控制单元512生成表示由所生成的脊线包围的表面的多边形,并且将与所生成的脊线和多边形相关的信息作为模型图像523存储在存储单元514中(步骤606)。所生成的多边形表示三维CAD模型的表面的一部分。
图11示出了从图10中的脊线生成的示例性多边形。多边形1101表示与立方体的四个边缘相对应的四条脊线所包围的矩形侧面。
控制单元512将模型图像523与拍摄图像521一起显示在屏幕上(步骤607)。结果,显示从拍摄图像521提取的边缘线以及模型图像523中所包括的脊线和多边形,使得边缘线和脊线在屏幕上可以被选择。同时,控制单元512生成改变信息526,该改变信息526指示要对拍摄图像521和模型图像523接受单独的改变指令,并且将改变信息526存储在存储单元514中。
图12示出了使用图10中的脊线以及图11中的多边形而显示的示例性模型图像523。在该示例中,显示了图9中的边缘线901至904和立方体的模型图像1201。另外,显示脊线以及多边形作为模型图像1201可以使用多边形来覆盖和隐藏三维CAD模型的后表面侧上的脊线,使得三维CAD模型的外形可以被容易地掌握。
操作者检查屏幕上的模型图像523的大小是否合适(步骤608)。例如,当模型图像523的大小适合于表示拍摄图像521的边缘线与模型图像523的脊线之间的相关性时,操作者确定模型图像523的大小是合适的。
当模型图像523的大小不合适(在步骤608中为“否”)时,操作者输入用于指示模型图像523的放大或缩小的改变指令,并且接受单元511接受所输入的改变指令(步骤611)。然后,控制单元512通过根据所述改变指令放大或缩小模型图像523来调整模型图像523的大小。例如,控制单元512可以通过改变脊线和多边形的放大率或缩小率来放大或缩小模型图像523。
图13示出了图12所示的模型图像1201的大小调整的示例。在该示例中,模型图像1201已经被放大。
当模型图像523的大小适合(在步骤608中为“是”)时,操作者检查屏幕上的模型图像523的方向是否合适(步骤609)。例如,当模型图像523的方向适合于表示拍摄图像521的边缘线与模型图像523的脊线之间的相关性时,操作者确定模型图像523的方向是合适的。
当模型图像523的方向不合适(在步骤609中为“否”)时,操作者输入用于指示模型图像523的旋转的改变指令,并且接受单元511接受所输入的改变指令(步骤612)。然后,控制单元512通过根据所述改变指令旋转模型图像523来调整模型图像523的方向。例如,控制单元512可以通过改变脊线和多边形的旋转角度来旋转模型图像523。
图14示出了图13所示的模型图像1201的方向调整的示例。在该示例中,模型图像1201逆时针旋转。
当模型图像523的方向合适(在步骤609中为“是”)时,操作者检查模型图像523在屏幕上的位置是否合适(步骤610)。例如,当模型图像523的位置适合于表示拍摄图像521的边缘线与模型图像523的脊线之间的相关性时,操作者确定模型图像523的位置是合适的。
当模型图像523的方向不合适(在步骤610中为“否”)时,操作者输入用于指示模型图像523的移动的改变指令,并且接受单元511接受所输入的改变指令(步骤613)。然后,控制单元512通过根据所述改变指令移动模型图像523来调整模型图像523的位置。例如,控制单元512可以通过改变多边形和脊线的位置来移动模型图像523。
图15示出了图14所示的模型图像1201的位置调整的示例。在该示例中,模型图像1201已经向上移动。
当模型图像523的位置适当(步骤610中为“是”)时,操作者输入用于指示用作为叠加显示的参考位置的边缘线和脊线的选择指令,并且接受单元511接受所输入的选择指令(步骤614)。然后,控制单元512通过改变例如边缘线和脊线的颜色、宽度或类型来突出显示由选择指令指示的边缘线和脊线。突出显示边缘线和脊线使得操作者能够容易地检查选择结果。
控制单元512可以显示将边缘线与脊线连接的线段。显示将边缘线与脊线连接的线段进一步提高了由操作者执行的检查选择结果的任务的效率。
图16示出了在图15所示的屏幕上选择的示例性边缘线和脊线。在该示例中,选择了边缘线901和脊线1601,并且显示了将边缘线901与脊线1601连接的线段1611。
操作者检查突出显示的边缘线和脊线的组合是否合适(步骤615)。例如,当突出显示的边缘线和脊线对应于空间结构的相同脊线时,操作者确定该组合是合适的。
当该组合不合适(在步骤615中为“否”)时,操作者给出用以取消所选线的组合的指令,并且接受单元511接受所输入的指令(步骤622)。然后,控制单元512取消边缘线和脊线的突出显示。同时,控制单元512隐藏将边缘线与脊线连接的线段。
图17示出了在取消之后的边缘线和脊线的示例。在该示例中,已经取消了所选择的边缘线903和脊线1701的组合,并且已经隐藏了将边缘线903与脊线1701连接的线段1702。
操作者重复步骤614和以下步骤的操作,并且当组合合适(在步骤615中为“是”)时,操作者检查是否已经选择了覆盖目标的线的N种组合(步骤616)。N为1或更大的整数。当N变为较低值时,操作者的任务时间缩短,但是叠加显示的精度降低。同时,当N变为较高值时,操作者的任务时间延长,但是叠加显示的精度提高。N可以是1至4中的任何一个。
当没有选择N种组合(在步骤616中为“否”)时,操作者重复步骤614和以下步骤的操作;当已经选择了N种组合(在步骤616中为“是”)时,操作者输入叠加指令(步骤617)。接受单元511接受所输入的叠加指令。控制单元512生成用于指示所选择的N种组合的组合信息524,并且将组合信息524存储在存储单元514中。
图18示出了边缘线和脊线的四个示例性组合。在该示例中,已经选择了边缘线901和脊线1601的组合、边缘线902和脊线1602的组合、边缘线903和脊线1603的组合、以及边缘线904和脊线1604的组合。另外,已经显示了将边缘线901与脊线1601连接的线段1611、将边缘线902与脊线1602连接的线段1612、将边缘线903与脊线1603连接的线段1613、以及将边缘线904与脊线1604连接的线段1614。
图19示出了组合信息524的示例。图19的组合信息524的每个条目包括边缘线ID、脊线ID和优先级。边缘线ID是组合中所包括的边缘线的标识信息,脊线ID是组合中所包括的脊线的标识信息,优先级指示根据规定标准而确定的组合的优先程度。
例如,可以直接使用操作者选择边缘线和脊线的组合的顺序作为优先级,或者可以对具有更可靠的脊线的组合赋予更高的优先级。例如,在空间结构的部件的脊线中,具有高加工精度或组装精度的脊线的可靠性水平可能变高,并且具有低加工精度或组装精度的脊线的可靠性水平可能变低。在此情况下,指示每个线段的可靠性的信息被添加到模型文件522的线段信息,并且控制单元512通过参考所选择的脊线的可靠性来确定组合的优先级。
E1至E4表示图18中的边缘线901至904的边缘线ID,L1至L4表示脊线1601至1604的脊线ID。E1和L1的组合具有最高优先级,E4和L4的组合具有最低优先级。
控制单元512生成叠加图像525,在该叠加图像525中,模型图像523以下述方式被叠加到拍摄图像521上:使得组合信息524中的每种组合中所包括的边缘线和脊线彼此覆盖,并且控制单元512将叠加图像525存储在存储单元514中(步骤618)。例如,控制单元512可以通过调整模型图像523的脊线和多边形的放大率或缩小率、旋转角度和位置,来将模型图像523叠加到拍摄图像521上。
当N为2或更大时,很难得的是所述多种组合中的所有组合都包括彼此重合的边缘线和脊线。在此情况下,控制单元512计算脊线和多边形的放大率或缩小率、旋转角度和位置的最佳值,由此生成边缘线和脊线彼此适度地重合的叠加图像525。
控制单元512取消边缘线和脊线的突出显示,并且隐藏边缘线(步骤619)。同时,控制单元512还隐藏将边缘线与脊线连接的线段。
控制单元512将叠加图像525显示在屏幕上(步骤620)。控制单元512可以改变例如组合信息524中的每种组合中所包括的边缘线和脊线的颜色、宽度和类型,由此突出显示边缘线和脊线。突出显示边缘线和脊线使得操作者能够容易地检查在叠加显示中被覆盖的边缘线和脊线。控制单元512将存储单元514中的改变信息526改变为用于指示要对拍摄图像521和模型图像523接受共同的改变指令的信息。
图20示出了其中图12中的模型图像1201已被叠加到图7中的拍摄图像701上的示例性叠加图像525。
操作者观察屏幕上的叠加图像525,以检查拍摄图像521与模型图像523之间的未对准(misalignment)。为了检查操作者所希望检查的未对准,操作者输入用于叠加图像525的改变指令,并且根据改变信息526,接受单元511接受所输入的改变指令作为用于拍摄图像521和模型图像523的共同指令(步骤621)。控制单元512通过根据改变指令对整个叠加图像525进行放大、缩小、旋转或移动来调整叠加图像525的大小、方向或位置。
在这样的叠加显示处理中,仅从显示在一个屏幕上的拍摄图像521和模型图像523中分别选择边缘线和脊线会自动地显示叠加图像525,在该叠加图像525中所选择的边缘线和脊线彼此覆盖。因此,可以立即检查空间结构的拍摄图像521与该结构的三维CAD模型的模型图像523之间的未对准,由此提高了将空间结构与三维CAD模型进行比较的检查任务的效率。此外,即使不熟练的操作者也可以在短时间内进行精确诊断。
图21示出了对另一个拍摄图像521的示例性叠加显示处理。首先,在边缘检测处理中从空间结构的拍摄图像2101中提取边缘线2102,并且将从空间结构的三维CAD模型生成的模型图像2103与拍摄图像2101和边缘线2102一起显示。
接下来,根据操作者输入的选择指令,突出显示拍摄图像2101的边缘线2111与模型图像2103的脊线2121的组合。另外,突出显示边缘线2112与脊线2122的组合,边缘线2113与脊线2123的组合、以及边缘线2114与脊线2124的组合。显示将边缘线2111与脊线2121连接的线段2131、将边缘线2112与脊线2122连接的线段2132、将边缘线2113与脊线2123连接的线段2133、以及将边缘线2114与脊线2124连接的线段2134。
在选择了这四种组合之后,显示叠加图像2104,在该叠加图像2104中,模型图像2103以使得边缘线2111至2114分别与脊线2121至2124覆盖的方式被叠加到拍摄图像2101上。
图22是示出在执行图6B中的叠加显示处理之后所执行的示例性调整处理的流程图。在该调整处理中,根据组合信息524中所包括的优先级来调整叠加图像525中所包括的拍摄图像521或模型图像523的大小、方向或位置。
操作者观察屏幕上的叠加图像525,以检查拍摄图像521与模型图像523是否未对准(步骤2201)。当拍摄图像521与模型图像523对准(在步骤2201中为“否”)时,操作者结束检查任务。
当拍摄图像521与模型图像523未对准(在步骤2201中为“是”)时,操作者输入针对叠加图像525的调整指令,并且接受单元511接受所输入的调整指令。根据调整指令,控制单元512将1设置为指示优先级的控制变量i(步骤2202)。
控制单元512在组合信息524中选择具有优先级i的条目,从所选择的条目中获得边缘线ID和脊线ID,并且突出显示由所获得的边缘线ID和脊线ID指示的边缘线和脊线(步骤2203)。操作者确定是否使用突出显示的边缘线和脊线的组合作为参考来进行调整。
在使用突出显示的边缘线和脊线的组合作为参考来进行调整(在步骤2203中为“是”)时,操作者输入执行指令,并且接受单元511接受所输入的执行指令。根据执行指令,控制单元512通过以下述方式对模型图像523进行放大、缩小、旋转或移动来调整叠加图像525(步骤2204):使得突出显示的边缘线和脊线彼此重合。
控制单元512检查i是否已经达到N(步骤2205)。当i没有达到N(在步骤2205中为“否”)时,控制单元512将i递增1(步骤2206),并且重复步骤2203和以下步骤的处理。当i已经达到N(在步骤2205中为“是”)时,控制单元512结束处理。
当拍摄图像521和模型图像523未对准时,这样的调整处理允许在改变拍摄图像521和模型图像523上的参考位置的同时详细检查拍摄图像521与模型图像523之间的未对准。
图23示出了对图21中的叠加图像2104的示例性调整处理。在此情况下,边缘线与脊线的组合的优先级如下。
优先级1:边缘线2111和脊线2121
优先级2:边缘线2112和脊线2122
优先级3:边缘线2113和脊线2123
优先级4:边缘线2114和脊线2124
在显示了其中模型图像2103已被叠加到拍摄图像2101上的叠加图像2104之后,当操作者指定具有优先级1或2的组合作为参考时,在屏幕上叠加图像2104被替换为叠加图像2301。当指定具有优先级1的组合时,显示其中边缘线2111与脊线2121彼此重合的叠加图像2301;当指定具有优先级2的组合时,显示其中边缘线2112与脊线2122彼此重合的叠加图像2301。
当操作者指定具有优先级3的组合作为参考时,在屏幕上叠加图像2301被替换为叠加图像2302。在此情况下,显示其中边缘线2113与脊线2123彼此重合的叠加图像2302。
当操作者指定具有优先级4的组合作为参考时,在屏幕上叠加图像2302被替换为叠加图像2303。在此情况下,显示其中边缘线2114与脊线2124彼此重合的叠加图像2303。
图1中的叠加显示设备101的配置、图3中的叠加显示设备301的配置、以及图5中的叠加显示设备501的配置仅仅是示例,并且可以根据叠加显示设备的预期用途或条件省略或改变一些部件。例如,当不切换用于接受改变指令的方法时,可以省略图5中的改变信息526;当操作者没有输入用于指示覆盖目标的边缘线和脊线的选择指令时,可以省略组合信息524。
图2、图4、图6A、图6B和图22的流程图仅仅是示例,并且可以根据叠加显示设备的配置或条件省略或改变一些处理。例如,当在图6A和6B的叠加显示处理中不需要显示模型图像523的多边形时,可以省略步骤606的处理。当不需要调整模型图像523的大小、方向和位置时,可以省略步骤608至613的处理。
当不需要进行关于所选择的边缘线和脊线的组合是否合适的检查时,可以省略步骤615和622的处理。当不需要在屏幕上改变叠加图像525时,可以省略步骤621的处理。当操作者没有输入用于指示覆盖目标的边缘线和脊线的选择指令时,可以省略步骤608至617的处理。
可以以相反的顺序执行一组步骤602至604和一组步骤605至607。在步骤614和620中,控制单元512不总是需要突出显示所选择的边缘线和脊线。
图7至图21和图23中的拍摄图像、模型信息、边缘线、脊线、多边形、模型图像、叠加图像和组合信息仅仅是示例,并且可以使用其他图像或其他信息。
图1中的叠加显示设备101、图3中的叠加显示设备301、和图5中的叠加显示设备501可以使用例如图24中描绘的信息处理设备(计算机)。图24中的信息处理设备包括中央处理单元(CPU)2401、存储器2402、输入装置2403、输出装置2404、辅助存储装置2405、介质驱动装置2406、和网络连接装置2407。这些元件通过总线2408彼此连接。
存储器2402是例如半导体存储器,诸如只读存储器(ROM)、随机存取存储器(RAM)或闪速存储器,并且存储供处理时使用的程序和数据。存储器2402可以用作为图5中的存储单元514。
CPU 2401(处理器)通过例如使用存储器2402执行程序而用作为图3中的控制单元313和图5中的控制单元512。
输入装置2403是例如键盘或指示装置,并且用于从操作者输入指令或信息。输入装置2403可以用作为图1中的接受单元112、图3中的接受单元312以及图5中的接受单元511。
输出装置2404是例如显示装置、打印机或扬声器,并且用于向操作者输出查询或处理结果。处理结果可以是叠加图像525。输出装置2404可以用作为图1中的显示单元111、图3中的显示单元311以及图5中的显示单元513。
辅助存储装置2405是例如磁盘装置、光盘装置、磁光盘装置、或磁带装置。辅助存储装置2405可以是硬盘驱动器或闪速存储器。信息处理设备可以将程序和数据存储在辅助存储装置2405中,并且将它们加载到存储器2402中以供使用。辅助存储装置2405可以用作为图5中的存储单元514。
介质驱动装置2406驱动便携式记录介质2409,并且访问在其中记录的项目。便携式记录介质2409是例如存储装置、软盘、光盘或磁光盘。便携式记录介质2409可以是例如光盘只读存储器(CD-ROM)、数字通用盘(DVD)或通用串行总线(USB)存储器。操作者可以将程序和数据存储在便携式记录介质2409中,并且将它们加载到存储器2402中以供使用。
如上所述,用于存储供处理使用的程序和数据的计算机可读记录介质是物理(非暂态)记录介质,例如存储器2402、辅助存储装置2405或便携式记录介质2409。
网络连接装置2407是与通信网络(例如局域网或广域网)连接并且执行与通信相关联的数据转换的通信接口。信息处理设备可以经由网络连接装置2407从外部设备接收程序和数据,并且将它们加载到存储器2402中以供使用。
信息处理设备不需要包括图24中的所有元件,并且可以根据预期的用途或条件省略一个或多个元件。例如,当不需要与另一设备执行通信时,可以省略网络连接装置2407;当不使用便携式记录介质2409时,可以省略介质驱动装置2406。
当信息处理设备是具有呼叫功能的便携式终端设备时,信息处理设备可以包括呼叫装置例如麦克风或扬声器,或者可以包括图像拍摄装置例如照相机。

Claims (9)

1.一种叠加显示方法,包括:
以使得边缘线和脊线能够被操作者通过输入装置而选择的方式,显示从图像拍摄设备所拍摄的空间结构的拍摄图像中提取的多个边缘线,以及所述空间结构的模型信息所表示的模型图像中包括的多个脊线;
接受用于指示第一覆盖目标的边缘线和第二覆盖目标的脊线的选择指令,其中所述第二覆盖目标的脊线将要覆盖在所述边缘线上,针对所述第一覆盖目标和所述第二覆盖目标的指定数量的组合中的每种组合,由所述操作者针对所述指定数量的组合中的每种组合通过所述输入装置输入所述选择指令;以及
根据所述选择指令显示叠加图像,在所述叠加图像中,所述模型图像以下述方式被叠加到所述拍摄图像上:针对所述指定数量的组合中的每种组合通过所述选择指令选择的边缘线与针对所述指定数量的组合中的每种组合通过所述选择指令选择的脊线彼此覆盖。
2.根据权利要求1所述的叠加显示方法,其中,
所述选择指令包括所述指定数量的组合中的每种组合的优先级,
所述显示叠加图像的步骤根据优先级顺序地逐个选择所述指定数量的组合,并且以使得所选择的每种组合中所包括的边缘线和脊线彼此覆盖的方式将所述模型图像叠加到所述拍摄图像上。
3.根据权利要求1所述的叠加显示方法,还包括:
根据所述选择指令,在显示所述叠加图像之前显示连接所述第一覆盖目标的边缘线和所述第二覆盖目标的脊线的线段。
4.根据权利要求1所述的叠加显示方法,还包括:
根据所述选择指令,在显示所述叠加图像之前突出显示所述第一覆盖目标的边缘线和所述第二覆盖目标的脊线。
5.根据权利要求4所述的叠加显示方法,还包括:
当显示所述叠加图像时,取消所述第一覆盖目标的边缘线和所述第二覆盖目标的脊线的突出显示。
6.根据权利要求1所述的叠加显示方法,还包括:
当显示所述叠加图像时,突出显示所述第一覆盖目标的边缘线和所述第二覆盖目标的脊线。
7.一种叠加显示方法,包括:
显示由图像拍摄设备拍摄的空间结构的拍摄图像,以及由所述空间结构的模型信息表示的模型图像;
在接受用以显示叠加图像的指令之前,接受针对所述拍摄图像或所述模型图像的单独的改变指令,其中在所述叠加图像中,所述模型图像以使得所述拍摄图像上的参考位置和所述模型图像上的参考位置彼此覆盖的方式被叠加到所述拍摄图像上;
接受所述用以显示叠加图像的指令;
显示所述叠加图像;
在接受所述用以显示叠加图像的指令之后,接受针对被显示为所述叠加图像的拍摄图像和模型图像的共同的改变指令;以及
根据所述共同的改变指令调整所述叠加图像,
其中,所述单独的改变指令指示所述拍摄图像或所述模型图像的放大、缩小或旋转,所述共同的改变指令指示所述叠加图像的放大、缩小或旋转。
8.一种叠加显示设备,包括:
存储器;以及
处理器,所述处理器在操作上耦接至所述存储器,所述处理器用以:
以使得边缘线和脊线能够被操作者通过输入装置而选择的方式,显示从图像拍摄设备所拍摄的空间结构的拍摄图像中提取的多个边缘线,以及所述空间结构的模型信息所表示的模型图像中包括的多个脊线;
接受用于指示第一覆盖目标的边缘线和第二覆盖目标的脊线的选择指令,其中所述第二覆盖目标的脊线将要覆盖在所述边缘线上,针对所述第一覆盖目标和所述第二覆盖目标的指定数量的组合中的每种组合,由所述操作者针对所述指定数量的组合中的每种组合通过所述输入装置输入所述选择指令;以及
根据所述选择指令显示叠加图像,在所述叠加图像中,所述模型图像以下述方式被叠加到所述拍摄图像上:针对所述指定数量的组合中的每种组合通过所述选择指令选择的边缘线与针对所述指定数量的组合中的每种组合通过所述选择指令选择的脊线彼此覆盖。
9.一种叠加显示设备,包括:
存储器;以及
处理器,所述处理器在操作上耦接至所述存储器,所述处理器用以:
显示由图像拍摄设备拍摄的空间结构的拍摄图像,以及由所述空间结构的模型信息表示的模型图像;
在接受用以显示叠加图像的指令之前,接受针对所述拍摄图像或所述模型图像的单独的改变指令,其中在所述叠加图像中,所述模型图像以使得所述拍摄图像上的参考位置与所述模型图像上的参考位置彼此覆盖的方式被叠加到所述拍摄图像上;
接受所述用以显示叠加图像的指令;
显示所述叠加图像;
在接受所述用以显示叠加图像的指令之后,接受针对被显示为所述叠加图像的拍摄图像和模型图像的共同的改变指令;以及
根据所述共同的改变指令调整所述叠加图像,
其中,所述单独的改变指令指示所述拍摄图像或所述模型图像的放大、缩小或旋转,所述共同的改变指令指示所述叠加图像的放大、缩小或旋转。
CN201610971866.6A 2015-11-06 2016-10-28 叠加显示方法和叠加显示设备 Active CN107016726B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015-218318 2015-11-06
JP2015218318A JP6661980B2 (ja) 2015-11-06 2015-11-06 重畳表示方法、重畳表示装置、及び重畳表示プログラム

Publications (2)

Publication Number Publication Date
CN107016726A CN107016726A (zh) 2017-08-04
CN107016726B true CN107016726B (zh) 2020-11-03

Family

ID=57280960

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610971866.6A Active CN107016726B (zh) 2015-11-06 2016-10-28 叠加显示方法和叠加显示设备

Country Status (5)

Country Link
US (1) US10304159B2 (zh)
EP (2) EP3340189A1 (zh)
JP (1) JP6661980B2 (zh)
CN (1) CN107016726B (zh)
MY (1) MY190811A (zh)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6939195B2 (ja) * 2017-07-27 2021-09-22 株式会社大林組 検査処理システム、検査処理方法及び検査処理プログラム
JP6996200B2 (ja) 2017-09-29 2022-01-17 富士通株式会社 画像処理方法、画像処理装置、および画像処理プログラム
US10699165B2 (en) 2017-10-30 2020-06-30 Palo Alto Research Center Incorporated System and method using augmented reality for efficient collection of training data for machine learning
JP7003617B2 (ja) 2017-12-12 2022-01-20 富士通株式会社 推定装置、推定方法、及び推定プログラム
JP6962242B2 (ja) * 2018-03-07 2021-11-05 富士通株式会社 情報処理装置,重畳表示プログラム,重畳表示方法
JP7059701B2 (ja) * 2018-03-08 2022-04-26 富士通株式会社 推定装置、推定方法、及び推定プログラム
JP7027978B2 (ja) 2018-03-14 2022-03-02 富士通株式会社 検査装置、検査方法、及び検査プログラム
JP7172179B2 (ja) * 2018-06-27 2022-11-16 富士通株式会社 表示制御方法、情報処理装置及び表示制御プログラム
JP7063165B2 (ja) 2018-07-26 2022-05-09 富士通株式会社 計測装置、計測方法及び計測プログラム
JP7180283B2 (ja) * 2018-10-30 2022-11-30 富士通株式会社 画像処理装置及び画像処理方法
US11138759B2 (en) 2018-12-13 2021-10-05 Fujitsu Limited Image processing apparatus and image processing method
US11443495B2 (en) * 2018-12-31 2022-09-13 Palo Alto Research Center Incorporated Alignment- and orientation-based task assistance in an AR environment
CN109800736B (zh) * 2019-02-01 2023-07-21 东北大学 一种基于遥感影像和深度学习的道路提取方法
US11657506B2 (en) * 2019-03-06 2023-05-23 General Electric Company Systems and methods for autonomous robot navigation
JP7265143B2 (ja) * 2019-05-30 2023-04-26 富士通株式会社 表示制御方法、表示制御プログラムおよび情報処理装置
JP7379052B2 (ja) * 2019-09-30 2023-11-14 キヤノン株式会社 表示制御装置、方法及びプログラム
JP7470511B2 (ja) 2019-12-17 2024-04-18 荏原環境プラント株式会社 情報処理システム、情報処理方法、情報処理プログラム
CN111766423A (zh) * 2020-09-02 2020-10-13 深圳市鼎阳科技股份有限公司 一种示波器的信号显示方法及示波器
JP7513496B2 (ja) * 2020-10-30 2024-07-09 株式会社エビデント 画像表示方法、表示制御装置、およびプログラム
WO2022224447A1 (ja) * 2021-04-23 2022-10-27 日本電気株式会社 制御装置、制御方法及び記憶媒体
US11917289B2 (en) 2022-06-14 2024-02-27 Xerox Corporation System and method for interactive feedback in data collection for machine learning in computer vision tasks using augmented reality

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2106146A1 (en) * 1992-10-16 1994-04-17 Peter R. Doherty, Jr. Video-cad comparator system
JP3415427B2 (ja) 1998-02-25 2003-06-09 富士通株式会社 ロボットシミュレーションにおけるキャリブレーション装置
JP3596753B2 (ja) * 2000-05-10 2004-12-02 株式会社ミツトヨ 画像測定装置用パートプログラム生成装置及び方法
JP4727068B2 (ja) 2001-05-29 2011-07-20 株式会社トプコン 施工監視システム、施工管理方法
US7076093B2 (en) * 2002-09-16 2006-07-11 Lee Shih-Jong J Structure-guided image inspection
JP2005339127A (ja) 2004-05-26 2005-12-08 Olympus Corp 画像情報表示装置及び画像情報表示方法
JP2006072543A (ja) * 2004-08-31 2006-03-16 Canon Inc 面選択方法、属性情報設定方法および情報処理装置
JP4434890B2 (ja) * 2004-09-06 2010-03-17 キヤノン株式会社 画像合成方法及び装置
JP4764663B2 (ja) * 2005-05-30 2011-09-07 富士通株式会社 仮想3次元座標空間における幾何形状の自動認識方法、その3次元cadシステム及び3次元cadプログラム
EP1804154A3 (en) * 2005-12-27 2012-08-08 Poston Timothy Computer input device enabling three degrees of freedom and related input and feedback methods
DE102006005044B4 (de) * 2006-02-03 2011-01-27 Metaio Gmbh Verfahren und System zur Bestimmung eines Datenmodells zur Überlagerung mit einem realen Objekt in einem Verfahren zur Objektverfolgung
JP2007280354A (ja) * 2006-03-16 2007-10-25 Ricoh Co Ltd 三次元形状処理装置、三次元形状処理方法、三次元形状処理プログラム、記録媒体、パーツカタログ・システム、パーツカタログ作成方法、及びプログラム
EP1993072A1 (en) 2007-05-18 2008-11-19 Siemens Aktiengesellschaft Method for comparison of 3D computer model and as-built situation of an industrial plant
JP5408852B2 (ja) * 2007-08-09 2014-02-05 株式会社日立ハイテクノロジーズ パターン測定装置
JP5561975B2 (ja) * 2009-03-09 2014-07-30 カルソニックカンセイ株式会社 表面加工データの作成方法および装置
JP5245938B2 (ja) 2009-03-12 2013-07-24 オムロン株式会社 3次元認識結果の表示方法および3次元視覚センサ
JP5293501B2 (ja) * 2009-08-26 2013-09-18 富士通株式会社 3次元データ表示装置およびプログラム
CN101794189A (zh) * 2009-09-22 2010-08-04 俞长根 图像显示方法
JP2011180066A (ja) 2010-03-03 2011-09-15 Horon:Kk 画像比較方法および画像比較プログラム
US9268322B2 (en) * 2010-11-04 2016-02-23 Mitsubishi Electric Corporation Method and apparatus for creating numerical control machining program and program for causing computer to implement same method
JP2012203458A (ja) 2011-03-23 2012-10-22 Fuji Xerox Co Ltd 画像処理装置及びプログラム
US8780223B2 (en) * 2011-03-31 2014-07-15 VISIONx INC. Automatic determination of compliance of a part with a reference drawing
JP5791976B2 (ja) 2011-06-16 2015-10-07 オリンパス株式会社 画像処理装置、画像処理方法、およびプログラム
US20130050207A1 (en) 2011-08-24 2013-02-28 General Electric Company Method and system for navigating, segmenting, and extracting a three-dimensional image
JP2013167481A (ja) 2012-02-14 2013-08-29 Olympus Corp 画像処理装置およびプログラム
DE102012003256A1 (de) 2012-02-21 2013-08-22 Testo Ag Auswerteverfahren für ein ortsauflösendes Messergebnis und Auswerteeinrichtung
JP5348359B1 (ja) * 2012-12-17 2013-11-20 新日鐵住金株式会社 スポット溶接部の解析方法、スポット溶接部の解析プログラム、記録媒体およびスポット溶接部の解析装置
US9530250B2 (en) * 2013-12-10 2016-12-27 Dassault Systemes Augmented reality updating of 3D CAD models
WO2015107789A1 (ja) * 2014-01-16 2015-07-23 コニカミノルタ株式会社 二次元画像形成装置、三次元造形装置、二次元画像形成方法および三次元造形方法

Also Published As

Publication number Publication date
MY190811A (en) 2022-05-12
EP3166083B1 (en) 2021-02-24
JP2017091078A (ja) 2017-05-25
EP3166083A2 (en) 2017-05-10
CN107016726A (zh) 2017-08-04
US20170132752A1 (en) 2017-05-11
JP6661980B2 (ja) 2020-03-11
EP3166083A3 (en) 2017-09-20
US10304159B2 (en) 2019-05-28
EP3340189A1 (en) 2018-06-27

Similar Documents

Publication Publication Date Title
CN107016726B (zh) 叠加显示方法和叠加显示设备
JP6716996B2 (ja) 画像処理プログラム、画像処理装置、及び画像処理方法
JP6256475B2 (ja) 画像処理装置、画像処理方法および画像処理プログラム
US9858728B2 (en) Interactive tool for inspecting and repairing three dimensional models
US20210303896A1 (en) Information processing apparatus, information processing method, and storage medium
JP6880618B2 (ja) 画像処理プログラム、画像処理装置、及び画像処理方法
JP3696952B2 (ja) 画像合成装置および方法
US11416978B2 (en) Image processing apparatus, control method and non-transitory computer-readable recording medium therefor
JP2018147065A (ja) 点群データ処理装置、点群データ処理方法、点群データ処理用プログラム
JP2018142109A (ja) 表示制御プログラム、表示制御方法および表示制御装置
JP7003617B2 (ja) 推定装置、推定方法、及び推定プログラム
US11195255B2 (en) Image processing apparatus and method of controlling the same
JP2009217115A (ja) カメラ映像シミュレータプログラム
US20200005551A1 (en) Display control method and display control apparatus
US11830177B2 (en) Image processing apparatus, control method and non-transitory computer-readable recording medium therefor
US11074670B2 (en) Image processing apparatus, control method thereof, recording medium, and information processing system
JPH10108003A (ja) 画像合成装置および画像合成方法
JP6962242B2 (ja) 情報処理装置,重畳表示プログラム,重畳表示方法
JP7232663B2 (ja) 画像処理装置及び画像処理方法
JP6779368B2 (ja) 画像処理装置、画像処理方法、およびプログラム
JP2011002968A (ja) プログラム、記録媒体及び表示制御装置
JP2020113247A (ja) 画像処理装置およびその制御方法、情報処理システム
JP2021036213A (ja) 撮影漏れ検出装置、及び、撮影漏れ検出方法
JP7152973B2 (ja) 検査条件作成支援装置、検査条件作成支援方法、検査条件作成支援プログラムおよび記録媒体
JP2017073717A (ja) 情報処理装置、情報処理方法、コンピュータプログラム及び記録媒体

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant