CN110268709A - 投影适当与否感测系统、投影适当与否感测方法以及投影适当与否感测程序 - Google Patents

投影适当与否感测系统、投影适当与否感测方法以及投影适当与否感测程序 Download PDF

Info

Publication number
CN110268709A
CN110268709A CN201780085405.1A CN201780085405A CN110268709A CN 110268709 A CN110268709 A CN 110268709A CN 201780085405 A CN201780085405 A CN 201780085405A CN 110268709 A CN110268709 A CN 110268709A
Authority
CN
China
Prior art keywords
projection
projected
image
face
sensing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201780085405.1A
Other languages
English (en)
Inventor
三宅太一
大津诚
市川拓人
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Publication of CN110268709A publication Critical patent/CN110268709A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H04N9/3185—Geometric adjustment, e.g. keystone or convergence
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G03B21/14—Details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/38—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory with means for controlling the display position
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4122—Peripherals receiving signals from specially adapted client devices additional display device, e.g. video projector
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/488—Data services, e.g. news ticker
    • H04N21/4882—Data services, e.g. news ticker for displaying messages, e.g. warnings, reminders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191—Testing thereof
    • H04N9/3194—Testing thereof including sensor feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B6/00—Tactile signalling systems, e.g. personal calling systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Computer Hardware Design (AREA)
  • Quality & Reliability (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Projection Apparatus (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Transforming Electric Information Into Light Information (AREA)

Abstract

在将可视化信息投影到被投影面时，感测未被适当地投影的部位，并将这一意思输出。本发明的一个方式的投影适当与否感测系统(100)，基于操作对象目标(OB)的拍摄图像，来感测操作对象目标(OB)的被投影面是否产生投影失真，并将感测结果输出到指示者(CR)侧。

Description

投影适当与否感测系统、投影适当与否感测方法以及投影适 当与否感测程序
技术领域
本公开涉及感测通过投影装置向投影对象投影内容时的投影的适当与否的投影适当与否感测系统、投影适当与否感测方法以及投影适当与否感测程序。
背景技术
近年来，开发了将图形、文字、静止图像、影像等视觉信息重叠显示在表示实际空间的图像上的增强现实(Augmented Reality，AR)技术。根据AR技术，例如，在操作现场，能使表示操作方法的影像等与操作对象物重叠，或者在医疗现场，能使诊察图像等与患者的身体重叠。
作为AR技术的实施方式，存在光学透视(see through)型、视频透视型，投影(projection)型等方式。在光学透视型、视频透视型这样的方式中，在多人同时观察相同的AR信息的情况下，需要各自穿戴专用的设备。相对于此，在投影型AR技术中，具有不用各自穿戴专用设备，也能多人同时观察相同的AR信息的优点。
投影型AR技术是如下的技术：使用对物体投影图形、文字、静止图像、影像等视觉信息的投影装置，将在计算机上生成或者加工后的影像由投影装置进行投影，并使影像重叠在实际空间内的物体。
在专利文献1中，作为使用了该技术的投影型AR操作辅助方法，公开了一种针对在操作现场进行操作的用户(以下，记作操作者)，将由从远程进行指示的用户(以下，记作指示者)输入的指示信息作为AR内容投影到操作现场的方法。
现有技术文献
专利文献
专利文献1：WO2016/084151(2016年6月2日)
发明内容
发明要解决的问题
然而，在像专利文献1所记载的投影型AR操作辅助技术中，基本上拍摄装置与操作者的位置是分开的，因此观察拍摄装置的拍摄影像的指示者的视点位置与操作者的视点位置不同。因此，在专利文献1所记载的方法中，在拍摄装置的拍摄影像中没有考虑操作对象的倾斜、凹凸，在该状态下，指示者将操作指示输入后的结果是：在由操作者观察被投影的AR内容(以下，称作投影内容或者可视化信息)时，有时投影内容会被视觉确认为与由指示者作为操作指示而输入的形状不同的形状。
本公开是鉴于以上的问题而完成，其目的在于提供下述的投影适当与否感测系统、投影适当与否感测方法以及投影适当与否感测程序：具备将可视化信息投影到投影对象的投影装置，根据构成操作对象的面的形状的特征，分别由指示者的视点与操作者的视点来感测可视化信息未被适当投影的部位，并将感测结果通知给指示者。
技术方案
为了解决上述的问题，本公开的一个方案的投影适当与否感测系统具备：第一终端，包括接受对象物的拍摄图像上的位置的指定的指示装置；以及第二终端，包括将可视化信息投影到与所述拍摄图像上的被指定的位置对应的所述对象物的被投影面的投影装置，所述第一终端与所述第二终端在能相互通信的范围中分离，所述投影适当与否感测系统具备感测部，该感测部基于所述拍摄图像，感测所述被投影面是否产生投影失真，所述第一终端具备：输出部，输出所述感测部的感测结果。
此外，为了解决上述的问题，本公开的一个方案的投影侧终端与包括接受对象物的拍摄图像上的位置的指定的指示装置的指示侧终端在能通信的范围中分离，并包括将可视化信息投影到与所述拍摄图像上的被指定的位置对应的所述对象物的被投影面的投影装置，所述投影侧终端具备基于所述拍摄图像来感测所述被投影面是否产生投影失真的感测部，将所述感测部的感测结果发送至所述指示侧终端。
此外，为了解决上述的问题，本发明的一个方案的指示侧终端包括接受对象物的拍摄图像上的位置的指定的指示装置，所述指示侧终端与包括将可视化信息投影到与所述拍摄图像上的被指定的位置对应的所述对象物的被投影面的投影装置的投影侧终端在能通信的范围中分离，所述指示侧终端具备：感测部，基于所述拍摄图像来感测所述被投影面是否产生投影失真；以及输出部，输出所述感测部的感测结果。
此外，为了解决上述的问题，本公开的一个方案的投影适当与否感测方法用于投影适当与否感测系统，所述投影适当与否感测系统具备：第一终端，包括接受对象物的拍摄图像上的位置的指定的指示装置；以及第二种终端，与所述第一终端在能通信的范围中分离，包括将可视化信息投影到与所述拍摄图像上的被指定的位置对应的所述对象物的被投影面的投影装置，所述投影适当与否感测方法包括：感测步骤，基于所述拍摄图像来感测所述被投影面是否产生投影失真；以及输出步骤，在所述第一终端中，输出所述感测步骤的感测结果。
此外，为了解决上述的问题，本公开的一个方案的投影适当与否感测程序用于使计算机作为所述构成的投影适当与否感测系统的各部而发挥功能，所述投影适当与否感测程序用于使计算机作为所述感测部以及所述输出部而发挥功能。
发明效果
根据本公开的一个方案，能感测在将可视化信息(投影内容)投影到投影对象时未被适当地投影的部位，通过将这一意思输出而使指示者收到这一意思的通知。
附图说明
图1是作为本公开的一个实施方式的投影适当与否感测系统的投影型AR操作辅助系统的利用场景的示意图。
图2是表示本公开的一个实施方式的投影适当与否感测系统的构成的构成图。
图3是表示本公开的一个实施方式的投影适当与否感测系统的功能块的图。
图4是表示本公开的一个实施方式的投影适当与否感测系统的操作者侧装置以及指示装置的构成例的框图。
图5是表示本公开的一个实施方式的投影适当与否感测系统的面估计处理部的构成的框图。
图6是表示本公开的一个实施方式的投影适当与否感测系统的投影失真通知方法的一个示例的图。
图7是用于发送本公开的一个实施方式的投影适当与否感测系统的操作者侧装置的投影失真检测结果、以及影像码的处理的流程图。
图8是本公开的一个实施方式的投影适当与否感测系统的操作者侧装置从指示装置接收信息的情况的流程图。
图9是表示本公开的一个实施方式的投影适当与否感测系统的指示装置的处理的流程图。
图10是作为本公开的其他实施方式的投影适当与否感测系统的投影型AR操作辅助系统的利用场景的示意图。
图11是表示本公开的其他实施方式的投影适当与否感测系统的指示装置的处理的流程图。
图12是作为本公开的其他实施方式的投影适当与否感测系统的投影型AR操作辅助系统的利用场景的示意图。
图13是表示本公开的其他实施方式的投影适当与否感测系统的功能块的一部分的图。
图14是作为本公开的其他实施方式的投影适当与否感测系统的投影型AR操作辅助系统的利用场景的示意图。
图15是表示本公开的一个实施方式的投影适当与否感测系统的指示装置的处理的流程图。
图16是说明图15所示指示装置的处理的一部分的图。
具体实施方式
〔实施方式1〕
以下，基于图1至图9对本公开的一个实施方式的投影适当与否感测系统进行说明。
<投影适当与否感测系统100的使用形态以及系统的概要>
图1是示意性地表示本实施方式1的投影适当与否感测系统100的使用形态的一个示例的图。
在图1所示的示例中，示出操作现场WS以及指示室CS，并示出处于操作现场WS的操作者WR从处于指示室CS的指示者CR收到关于操作对象目标OB的操作指示的情况。
指示者CR能使用配置于操作现场WS的投影装置105，使表示指示内容的投影内容106投影并显示于操作对象目标OB的特定的位置。然后，操作者WR能观看该被投影的投影内容106同时进行操作。与此同时，操作现场WS的情况由配置于操作现场WS的拍摄装置107拍摄，指示者CR能从远程确认操作的情况。
本实施方式1的投影适当与否感测系统100具备操作者侧装置108(第二终端)以及指示装置109(第一终端)。然后，在图1所示的示例中，投影适当与否感测系统100以如下的方式工作。
首先，操作者侧装置108获取由拍摄装置107拍摄到的包含操作对象目标OB的区域的影像，并将获取到的影像发送至指示装置109。然后，指示装置109将接收到的影像显示在显示装置110上。指示者CR在显示在显示装置110的操作对象的影像111上，设置表示指示内容的可视化信息106’。指示装置109将可视化信息106’发送至操作者侧装置108。当操作者侧装置108接收到可视化信息106’时，将接收到的可视化信息106’作为投影内容106通过投影装置105投影到操作对象目标OB。需要说明的是，在本说明书中，也将包括操作者侧装置108的操作现场WS侧的构成称作投影侧终端，也将包括指示装置109的指示室CS侧的构成称作指示侧终端。
在此，操作者侧装置108与指示装置109可以在能相互通信的范围分离，例如，通过如图2所示的公共通信网络(例如，互联网)相互连接，按照TCP/IP或UDP等协议(protocol)进行通信。投影适当与否感测系统100还可以进一步包括用于一并管理可视化信息106’的管理服务器200，在该情况下，管理服务器200连接到公共通信网络。需要说明的是，操作者侧装置108与指示装置109也可以通过无线通信与公共通信网络连接。在该情况下，无线通信能通过由例如Wi-Fi(注册商标)联盟(Alliance：美国业界组织)所规定的国际标准规格(IEEE 802.11)的Wi-Fi(注册商标)(Wireless Fidelity：无线保真)进行连接。关于通信网络，到此为止示出了互联网等公共通信网络，但也能使用例如在企业等中使用的LAN(LocalArea Network：局域网)，此外，也可以使用将这些混合在一起的构成。
<投影适当与否感测系统100的主要部分构成>
图3是表示本实施方式1的投影适当与否感测系统100的主要部分构成的框图。
如图3所示，投影适当与否感测系统100具备拍摄装置107、控制部300、投影装置105、显示装置110、以及外部输入部104。
拍摄装置107构成为具备：光学部件，用于将拍摄空间存取为图像；以及CMOS(Complementary Metal Oxide Semiconductor：互补金属氧化物半导体)或CCD(ChargeCoupled Device：电荷耦合器件)等拍摄元件，并基于由拍摄元件的光电转换所得到的电信号来生成影像111的影像数据。
控制部300具备作为功能块的影像获取部301、编码部302、面估计处理部303、投影失真部位感测部304(感测部)、解码部305、投影失真部位通知部306(输出部)、影像显示部307、输入接受部308、以及投影内容输出部309。
控制部300是一个或多个处理器。作为控制部300，可以是由一个处理器执行全部的功能块的处理，也可以是由多个处理器分开执行各功能块的处理。
影像获取部301从拍摄装置107获取影像数据(拍摄图像)，并输出至编码部302以及面估计处理部303。在一个方案中，影像获取部301可以将获取到的影像数据直接输出，也可以使用未图示的图像处理部，在对获取到的影像数据实施亮度调制处理、噪声消除等图像处理后输出，也可以将这两者都输出。此外，影像获取部301也可以构成为将输出的影像数据、以及拍摄时的焦距等参数，发送至后述的第一保存部402或者第二保存部405(图4)。
编码部302进行编码处理，以将影像获取部301获取到的影像信号压缩为比原来的信号量小，并输出影像码。在一个方案中，编码部302可以由FPGA(Field ProgrammableGate Array：现场可编程门阵列)、ASIC(ApplicationSpecific Integrated Circuit：应用专用集成电路)等构成。对于编码处理，例如能应用适用于运动图像编码的H.264(国际标准动画压缩规格)，也能使用其他方法。需要说明的是，在后述的操作者侧装置108与指示装置109之间进行影像信号的通信时，在无需压缩影像信号的情况下，也可以是不包括编码部302的系统构成。
面估计处理部303获取作为投影对象的操作对象目标OB的平面的参数(以下，称为平面参数)，来对操作对象目标OB的表面(被投影面)的信息进行估计。投影对象的表面的信息的估计结果被输出至投影失真部位感测部304。在一个方案中，面估计处理部303可以由FPGA、ASIC等构成。关于获取平面参数的具体方法，以及估计投影对象的面的信息的具体方法将在后文叙述。
在投影失真部位感测部304接受面估计处理部303的估计结果，投影装置105对投影内容106进行投影的情况下，对操作对象目标OB的表面的至少包含预定投影的部位(位置)的区域的投影失真的有无(以下，称为投影失真检测结果)进行检测。
需要说明的是，在本说明书中，具有“投影失真”或者产生“投影失真”意味着在某可视化信息投影到被投影面的状态下，观察该被投影面时，该可视化信息的至少一部分看起来是失真的、或者是该可视化信息的至少一部分缺失而处于无法视觉确认的状态(投影到包含凹陷或孔的区域的情况下在该区域可能产生的现象)。在一个方案中，投影失真部位感测部304可以由FPGA、ASIC等构成。关于投影失真检测结果的获取方法将在后文叙述。
解码部305进行将编码后的影像码解码为原来的影像信号的处理。在一个方案中，解码部305可以由FPGA、ASIC等构成。需要说明的是，在后述的操作者侧装置108与指示装置109之间进行影像信号的通信时，在无需压缩影像信号的情况下，也可以是不包括解码部305的系统构成。
投影失真部位通知部306接受投影失真部位感测部304的检测结果，并输出该检测结果。具体而言，投影失真部位通知部306进行投影失真部位的通知内容的生成以及输出。在一个方案中，投影失真部位通知部306可以由FPGA、ASIC等构成。关于具体的通知内容的生成方法将在后文叙述。
影像显示部307根据解码部305输出的影像信号和投影失真检测结果，生成使由投影失真部位通知部306生成的通知内容重叠到影像信号后的影像信号。生成的影像信号被发送至外部连接的显示装置110。在一个方案中，所显示的信息的数据形式不被特别限定，可以是通用的数据形式，也可以是独特的数据形式，所述通用的数据形式如下：若是静止图像，例如是Bitmap、JPEG(Joint Photographic Experts Group)等；若是动画，例如是AVI(Audio Video Interleave)、FLV(Flash Video)等。此外，影像显示部307也可以转换数据形式。在一个方案中，影像显示部307可以由FPGA、ASIC等构成。
输入接受部308接受通过外部输入部104输入的可视化信息106’。在一个方案中，输入接受部308可以由FPGA、ASIC等构成。
投影内容输出部309将输入接受部308接受到的可视化信息106’作为投影内容106输出至外部连接的投影装置105。在一个方案中，投影内容输出部309可以由FPGA、ASIC等构成。
以上的各功能块构成控制部300。
在一个方案中，投影装置105可以由DLP(Digital LightProcessing)投影仪、液晶投影仪等构成。
在一个方案中，显示装置110可以由LCD(Liquid CrystalDisplay：液晶显示器)、有机EL显示器(OELD：Organic Electro LuminescenceDisplay)等构成。
外部输入部104根据指示者CR的操作来输入可视化信息106’。在一个方案中，外部输入部104可以由鼠标、键盘等装置构成。此外，显示装置110也可以是包括外部输入部104的构成，例如，也可以是通过在显示装置110中包括触摸面板，指示者CR使手指等与显示装置110接触，由此输入操作。
<投影适当与否感测系统100的硬件构成>
图4是表示投影适当与否感测系统100的硬件构成的一个示例的框图。像上述的那样，在一个示例中，投影适当与否感测系统100具备操作者侧装置108以及指示装置109。
如图4所示，操作者侧装置108具备第一通信部401、第一保存部402、以及第一控制部403。
第一通信部401对数据进行整形，以使编码部302输出的影像码可以进行网络通信，并发送至指示装置109。而且，第一通信部401从投影失真部位感测部304接受投影失真检测结果，并将其发送至指示装置109。此外，第一通信部401从指示装置109接收可视化信息106’。在一个方案中，第一通信部401可以由FPGA、ASIC等构成。用于进行网络通信的数据的整形是例如，按照TCP/IP、UDP等协议，附加通信所需的信息。通信的方式并不限定于该方式，只要能建立双方的通信路径，相互收发数据即可。
第一保存部402保存拍摄装置107以及投影装置105的内部参数以及外部参数、由面估计处理部303获取的平面参数、用于图像处理的各种数据等。在一个方案中，第一保存部402可以由RAM(Random Access Memory：随机存取存储器)、硬盘等存储装置构成。
第一控制部403进行操作者侧装置108整体的控制。第一控制部403，例如由CPU(Central Processing Unit)等构成，进行与各功能块的处理的命令、控制、数据的输入输出相关的控制。第一控制部403能执行图3的控制部300的一部分或者全部功能块的处理。
需要说明的是，也可以具备用于在各个块间进行数据交换的总线。
需要说明的是，在一个方案中，如图1所示，操作者侧装置108、投影装置105、以及拍摄装置107构成为独立的装置。在本实施方式1中并不限定于此，在其他方案中，操作者侧装置、投影装置、以及拍摄装置可以是内包于箱体而成为一体的构成，或者也可以是其一部分组合成为一体的方案。
指示装置109具备第二通信部404、第二保存部405、以及第二控制部406。
第二通信部404从操作者侧装置108接收影像码、以及面估计处理部303的估计结果。此外，将可视化信息106’发送至操作者侧装置108。在一个方案中，第二通信部404可以由FPGA、ASIC等构成。
第二保存部405保存投影失真的感测所需的参数、用于图像处理的各种数据等。在一个方案中，第二保存部405可以由RAM(Random Access Memory)、硬盘等存储装置构成。
第二控制部406进行指示装置109整体的控制。第二控制部406例如，由CPU等构成，进行与各功能块的处理的命令、控制、数据的输入输出相关的控制。第二控制部406能执行图3的控制部300的一部分或者全部的功能块的处理。
需要说明的是，在指示装置109中也可以与操作者侧装置108同样地具备用于在各个的块间进行数据交换的总线。
此外，在一个方案中，如图1所示，指示装置109、以及显示装置110构成为独立的装置。在本实施方式中并不限定于此，在其他方案中，指示装置、显示装置也可以是内包于箱体的平板型的形态。
在此，操作者侧装置108的第一控制部403与指示装置109的第二控制部406能分开执行图3的控制部300的各功能块。例如，如图3中，在控制部300的框架内用虚线表示边界，操作者侧装置108的第一控制部403可以执行影像获取部301、面估计处理部303以及投影内容输出部309的处理，指示装置109的第二控制部406可以执行投影失真部位感测部304、投影失真部位通知部306以及影像显示部307的处理。此外，操作者侧装置108的第一控制部403与指示装置109的第二控制部406也可以以其他分开方式，来执行控制部300的各功能块的处理。
<面估计处理部303的处理内容>
接着，使用图5对通过本实施方式1的面估计处理部303获取面信息的方法进行说明。
图5是表示面估计处理部303的功能块构成的图。
如图5所示，面估计处理部303具有对应点映射图获取部501、点云获取部502、以及平面参数导出部503。
对应点映射图获取部501计算出图3所示的影像获取部301获取到的影像数据上的像素的位置与由投影装置105投影的影像上的像素的位置的对应关系的列表(以下，称为对应点映射图)。对应点映射的计算方法能使用例如，编码图案光投影法，对由投影装置投影的图案图像(参考图像)进行拍摄，根据拍摄到的图像的图案计算出对应关系。需要说明的是，关于对应点映射的计算方法，并不限定于编码图案光投影法，只要是能获取影像数据上的像素的位置与由投影装置105投影的影像上的像素的位置的对应关系的方法，则可以是任意的方法。
点云获取部502根据通过对应点映射图获取部501获取到的对应点映射图、拍摄装置107以及投影装置105的内部参数、外部参数、以及影像获取部301获取到的影像数据上的像素的坐标，使用立体(stereo)法的原理，针对由拍摄装置107拍摄到的影像数据上的各像素，计算出以拍摄装置107为基准的三维坐标。在此，内部参数包括拍摄装置107以及投影装置105的焦距、主点。此外，外部参数包括拍摄装置107与投影装置105之间的旋转矩阵与平移向量。需要说明的是，点云获取部502也可以是能直接获取三维坐标的装置，例如，也可以应用基于红外线到被拍摄体的反射时间来测定距离的TOF(Time Of Flight：飞行时间)方式的装置等。
平面参数导出部503根据由点云获取部502获取到的各像素的三维坐标(以下，称为3D点云)来计算出最适合于3D点云中的平面。在一个方案中，将三维坐标的坐标分别设为x、y、z时，三维坐标中的平面能通过以下的数式(1)来定义。
[数式1]
ax+bv+cz+d＝0…(1)
数式(1)中的(a，b，c)表示平面的法向量，d表示三维坐标的原点与平面的距离。即，能通过对数式(1)中的参数(a，b，c，d)进行计算，来计算出平面。
在此，在一个方案中，平面参数导出部503将N×N的掩码(mask)乘以对应点映射图的像素。与该掩码内的N×N个像素对应的3D点云(x1，y1，z1)到(xN×N，yN×N，zN×N)满足以下所示的数式(2)的联立方程式。在此，由于(a，b，c)是法向量，即使向量的大小发生变化也没有问题，因此将c的值固定为1。
[数式2]
在此，在一个方案中，当如以下所示的数式(3)到数式(5)那样定义数式(2)的各矩阵时，平面参数导出部503能根据以下所示的数式(6)计算出参数(a，b，c，d)。
[数式3]
[数式4]
[数式5]
[数式6]
p＝A-1(AT)-1ATB…(6)
在此，A-1表示矩阵A的逆矩阵，AT表示矩阵A的转置矩阵。
每扫描对应点映射上的掩码时进行所述的计算，结果(a，b，1，d)i的参数群被输出到投影失真部位感测部304。下标i表示扫描掩码的次数，通过每次的扫描估计一个面信息。
<投影失真部位感测部304的处理内容>
投影失真部位感测部304参照面估计处理部303计算出的各平面的参数(估计结果)，在对投影内容106进行投影的情况下，感测从操作者WR的视点观察的情况下有无失真。
投影失真部位感测部304在将投影装置105的投影方向的向量设为D，将掩码i的平面的法向量设为Pi＝(a，b，1)i时，根据数式(7)来获取掩码i的投影失真检测结果Gi。
[数式7]
在此，数式(7)中的normalized()是表示对输入的向量进行归一化处理的函数，abs()是表示计算绝对值的函数。此外，符号·是表示向量的内积。此外，Th是预先设定的阈值，被设定为从0到1之间的实数值。
在上述的数式(7)中，abs{normalized(Pi)·normalized(D)}越接近1，由掩码i计算出的平面越正对投影装置105的投影方向，因此从操作者WR的视点来看投影内容的失真小。反之，abs{normalized(Pi)·normalized(D)}越接近0，由掩码i计算出的平面相对于投影方向有越大的倾斜，因此从操作者WR的视点来看投影内容106失真大。该判定通过是否低于预先设定的阈值Th而进行判断。
<通知方法>
使用图6对投影失真部位通知部306的通知的显示方法进行说明。
图6是表示投影失真部位通知部306进行投影失真通知的一个示例的图。在图6中，操作对象目标OB的面601示出了投影失真检测结果(投影适当与否的判定结果)为有失真，即判定为投影是不合适的部位。
投影失真部位通知部306接受从投影失真部位感测部304发送的投影失真检测结果(投影适当与否的判定结果)，并对指示者CR进行通知处理。
通知方法只要是能通知投影失真，即投影不适当的方法即可，例如，能使用下述方法：参照投影失真检测结果，通过用单一颜色填充面601的相应的部位向指示者CR通知在操作者WR的视点中指示未正确投影。
此外，作为另一方法，也可以是在指示者CR将可视化信息106’输入至投影失真部位的情况下，通过变更重叠部位的颜色来进行通知的方法。
此外，作为又一方法，可以是通过进行在显示装置的任意位置描绘有失真的通知内容602的处理，而引起指示者CR注意的方法，或者也可以是使指示装置109振动来进行通知的方法。
需要说明的是，投影失真部位通知部306的通知方法并不限定于所述方法，只要是通知投影失真的有无(投影的适当与否)、或者通知发生投影失真的像素的方法，则可以是任意的方法。
需要说明的是，给指示者的通知，只要是通知在操作者WR的视点中指示未正确投影即可，而无需通知投影失真。然而，也可以一并通知指示未正确投影的理由，即存在投影失真。
<投影适当与否感测系统100的工作(投影适当与否感测方法)>
使用图7以及图8对操作者侧装置108(图1以及图4)的处理流程图进行说明。需要说明的是，图7以及图8的各流程图并行地工作。
图7表示用于从操作者侧装置108向指示装置109发送平面参数(估计结果)、以及影像码的流程图。
当启动投影适当与否感测系统(A)时，首先处理进入步骤S701。
在步骤S701中，影像获取部301获取由拍摄装置107拍摄到的操作对象目标OB的影像。获取后，过渡至步骤S702。
在步骤S702中，面估计处理部303获取所述的对应点映射。进而，面估计处理部303进行对投影装置105与拍摄装置107的内部参数以及外部参数的计算。进而，面估计处理部303使用对应点映射、内部参数、以及外部参数，来获取在投影装置105的投影范围内的3D点云。最后，面估计处理部303根据3D点云获取平面参数，并输出至第一通信部401。第一通信部401向指示装置109发送平面参数，并转移至步骤S703。
在步骤S703中，编码部302将影像获取部301获取到的影像转换为影像码，并输出至第一通信部401。在通过第一通信部401向指示装置109发送影像码后，转移至步骤S704。
在步骤S704中，进行是否结束处理的判定，在不结束的情况下进入步骤S701。在使处理结束的情况下结束整体的处理。
图8示出操作者侧装置108从指示装置109接收信息的情况的流程图。
在步骤S801中，第一通信部401接收由指示装置109发送的可视化信息106’。将接收到的可视化信息输出至投影内容输出部309，并转移至步骤S802。
在步骤S802中，投影内容输出部309将可视化信息106’作为投影内容106输出至投影装置105。然后，转移至步骤S803。
在步骤S803中，进行是否结束处理的判定，在不结束的情况下进入步骤S801。在使处理结束的情况下结束整体的处理。
接着，使用图9对指示装置109的处理流程图进行说明。
在步骤S901中，第二通信部404接收由操作者侧装置108发送的平面参数，并输出至投影失真部位感测部304。输出后，转移至步骤S902。
在步骤S902中，第二通信部404将从操作者侧装置108接收到的影像码输出至解码部305。解码部305对影像码进行解码并作为影像111输出至影像显示部307。输出后，转移至步骤S903。
在步骤S903(感测步骤)中，投影失真部位感测部304使用平面参数、以及投影装置105的投影方向的信息，计算出投影对象的面相对于投影方向的倾斜(角度)(失真信息)。计算出后，转移至步骤S904。在此，投影方向代表投影装置105投影的方向。投影的方向与相对于投影装置105投影的影像垂直的方向相同。该方向通过下述方法获取。即，首先，获取投影装置105与拍摄装置107的图像间的对应点映射。然后，使用对应点映射、内部参数、以及外部参数来获取投影装置105的投影范围内的3D点云。进而，选择由投影装置105投影的影像的中心的像素，并获取与该像素位置对应的三维位置。若将获取到的三维位置设为Pc(Xc，Yc，Zc)，向量Pc与以投影装置105的投影面中心为起始点的光轴向量(投影方向)等价。
在步骤S904(感测步骤)中，投影失真部位感测部304将面的倾斜与阈值进行比较，判定是否产生投影失真，并将投影失真检测结果输出至投影失真部位通知部306。输出后，转移至步骤S905。
在步骤S905(通知步骤)中，投影失真部位通知部306基于接收到的投影失真检测结果，进行将通知内容重叠地描绘在与影像111相应的部位上的处理。将处理结果输出至影像显示部307并转移至步骤S906。
在步骤S906(通知步骤)中，影像显示部307将重叠有投影失真部位的通知的影像向显示装置110进行输出。之后，过渡至步骤S907。需要说明的是，接收的影像基本上与在获取对应点映射图时拍摄到的影像相同。因此，也可以是预先对将影像中的面的倾斜信息全部计算出的信息进行保存，在指示者输入可视化信息时，离线参照前述的面的倾斜信息来通知在输入范围中有无失真这样的处理。
在步骤S907中，输入接受部308接受使用了外部输入部104的指示者CR的输入，指示者CR在输出至影像显示部307的拍摄图像上指定的位置，生成可视化信息106’。在此，拍摄图像上指定的位置是指图像上的点以及包括该点的区域(被投影面)。之后，转移至步骤S908。
在步骤S908中，第二通信部404将可视化信息106’发送至操作者侧装置108。之后，转移至步骤S909。
在步骤S909中，进行是否使处理结束的判定。在不使处理结束的情况下，进入到步骤S902。在使处理结束的情况下，使全部的处理结束。
根据以上的构成，在将投影内容投影至操作对象时，能根据投影面的倾斜信息，对由于操作者与指示者的视点的方向不同，而使投影内容失真地投影的部位进行感测。此外，能提供一种通过在显示于显示装置的操作现场的影像上重叠描绘，而向指示者通知失真显示的部位的投影适当与否感测系统。
需要说明的是，在本实施方式1中仅对指示者进行通知，但并不限定于此，也可以对操作者也进行通知。即，影像显示部307将重叠有投影失真部位的通知的影像向显示装置110输出，并且向设于操作者侧装置108的显示部输出，或者也可以使该重叠的影像由投影装置105投影至操作对象目标OB。由此，能使操作者认识现状。在操作现场，有时存在当没有来自指示者的指示时，操作者感到不安的情况。在该情况下，是实际上处于没有指示、或者是指示者将要发出指示但正在调整投影部位的状态，通过对操作者也进行通知，则在操作者侧能掌握状况，有助于减轻不安。
此外，在本实施方式1中，在投影前向指示者通知产生投影失真的情况。然而，并不限定于此，也可以在无论有无投影失真，都将投影内容投影到操作对象目标OB的状态下，向指示者通知投影内容被失真地投影，即，投影内容未被良好地投影。
此外，在本实施方式1中，操作者向操作者操作的对象物即操作对象目标OB进行投影，但只要是位于操作者的附近，并且能投影的物体，则也可以投影到与操作的对象物不同的物体。
〔实施方式2〕
如果基于图10以及图11对本公开的其他实施方式进行说明，则如下所述。需要说明的是，为了便于说明，对具有与在所述实施方式中说明过的构件相同的功能的构件标注相同的符号，并省略其说明。
投影失真在以跨越多个面的方式进行投影的情况下也会发生。其一个示例如图10所示。
图10是投影环境的一个示例。在图10的示例中，示出了投影至操作对象目标OB的侧部的邻接的两个面1001以及1002的状态。即使在这样的状态下，投影内容也会失真。而且，在一方的面1002设有凹部1003。在投影至像这样的部位的情况下，投影内容也会失真。
因此，本实施方式2的投影适当与否感测系统将投影内容以跨越多个面的方式进行投影的情况也通知给指示者。在这一方面，本实施方式2的投影适当与否感测系统与所述的实施方式1的投影适当与否感测系统不同。
此外，在上述的实施方式1的投影适当与否感测系统的指示装置109的处理流程中，是先实施面的倾斜的检测与通知之后，等待指示者的可视化信息的输入这样的方案，但本发明并不限定于此，顺序也可以相反。因此，在本实施方式2的投影适当与否感测系统的指示装置109的处理流程中，对顺序相反的方案进行说明。作为概要，有下述流程：首先，指示者对接收到的影像输入可视化信息，之后，计算出所输入的可视化信息的范围内的面的倾斜。然后，基于计算结果，来进行有无失真的判定，并通知与所输入的可视化信息的范围相关的失真。
需要说明的是，在本实施方式2中，操作者侧装置108的处理还是与实施方式1的处理相同，因此省略说明。即，在本实施方式2的方案中，也进行通过所述的实施方式1的面估计处理部303进行的对应点映射的获取、三维坐标的计算、以及平面参数的计算。
图11是表示本实施方式2的投影适当与否感测系统的指示装置109的处理流程图的图。
在步骤S1101中，第二通信部404接收由操作者侧装置108发送的平面参数，并输出至投影失真部位感测部304。输出后，转移至步骤S1102。
在步骤S1102中，第二通信部404将从操作者侧装置108接收到的影像码输出至解码部305。解码部305对影像码进行解码并将其作为影像111输出至影像显示部307。输出后，转移至步骤S1103。
在步骤S1103中，与图9的步骤S907相同，输入接受部308接受使用了外部输入部104的指示者CR的输入，生成可视化信息106’。之后，转移至步骤S1104。
在步骤S1104中，仅在步骤S1103中指示者输入的可视化信息的范围内，计算出面的倾斜。计算后，转移至步骤S1105。面的倾斜的计算处理本身与图9的步骤S903相同，但在上述的实施方式1中是对一个面进行倾斜计算的方案，而在本实施方式2中，区别点在于对多个面进行倾斜计算。即，在本实施方式2中，在计算可视化信息的范围(投影对象)的倾斜时，对投影对象是否包括多个面进行判别。在投影对象包括多个面的情况下，至少得到两个以上倾斜的计算结果。即，在得到两个以上的结果的情况下，能判别为投影对象跨越多个面，在一个结果的情况下，能判别为投影对象由一个面构成。
在步骤S1105中，与图9的步骤S904相同，投影失真部位感测部304将面的倾斜与阈值进行比较，来判定是否产生投影失真。在此，在判定中使用实施方式1中说明过的数式(7)，但是例如在投影对象跨越多个面的情况下，当在各个面上判定为没有失真(即能投影)时，指示者输入的可视化信息跨越多个面进行投影。在该情况下，考虑到投影内容会失真，因此在投影跨越多个面的情况下判定为有失真(即不能投影)。当由投影失真部位感测部304，将投影失真检测结果输出到投影失真部位通知部306时，处理转移至步骤S1106。
在步骤S1106(通知步骤)中，与图9的步骤S905相同，投影失真部位通知部306基于接收到的投影失真检测结果，来进行将通知内容重叠地描绘在与影像111相应的部位上的处理。将处理结果输出至影像显示部307并转移至步骤S1107。
在步骤S1107(通知步骤)中，与图9的步骤S906相同，影像显示部307将重叠有投影失真部位的通知的影像输出至显示装置110。之后，转移至步骤S1108。
在步骤S1108中，第二通信部404将可视化信息106’发送至操作者侧装置108。之后，转移至步骤S1109。
在步骤S1109中，进行是否使处理结束的判定。在不使处理结束的情况下，进入到步骤S1102。在使处理结束的情况下，使全部的处理结束。
需要说明的是，对指示者的通知方法，与实施方式1的通知方法相同。
〔实施方式3〕
如果基于图12以及图13对本公开的其他实施方式进行说明，则如下所述。需要说明的是，为了便于说明，对具有与在所述实施方式中说明过的构件相同的功能的构件标注相同的符号，并省略其说明。
在投影装置105与拍摄装置107之间存在遮挡(occlusion)的情况下，无法获取对应点映射。在该情况下，在操作者WR的视点与指示者CR的视点，投影内容106都未被正确地视觉确认。
因此，在本实施方式3的投影适当与否感测系统中，对于无法获取对应点映射的部分，也与所述的实施方式1的通知内容同样地通知给指示者。
当对无法获取对应点映射图的部分进行说明时，则如图12所示的一个示例那样，投影装置105的投影范围1101与拍摄装置107的拍摄范围1102基本上不一致。因此，即使在拍摄装置107的拍摄范围1102内，也会产生投影装置105的投影光的无法到达的范围。作为该范围，将如图12所示的部位1103以及1104作为一个示例。部位1103示出了设于操作对象目标OB的侧面的孔，投影光无法到达该孔。此外，部位1104示出了操作对象目标OB自身立体的形状形成遮蔽的区域，而投影光照射不到该区域。
对于像这样投影光无法达到的部位，能通过在上述的实施方式1的面估计处理部303的对应点映射获取部501中是否能获取对应点来进行判别。
图13是表示本实施方式3的投影适当与否感测系统的块构成的一部分的图。
在本实施方式3的投影适当与否感测系统中，如图13所示，面估计处理部303’通过对应点映射图获取部501’进行对应点的获取时，当存在无法获取对应点的部位时，将该部位的像素的位置向(指示装置109的)投影失真部位通知部306输出。
投影失真部位通知部306接受来自投影失真部位感测部304的输出，并且接受来自对应点映射获取部501’的输出，并生成投影失真部位、以及无法获取对应点映射的部位的通知内容。无法获取对应点映射图的部位的通知内容的生成方法与投影失真部位的通知内容的生成方法相同。
根据本实施方式3的投影适当与否感测系统，除了有无投影失真之外，还能将投影光无法到达而无法对投影内容进行投影的部位通知给指示者。
需要说明的是，在本实施方式3中，作为无法获取对应点映射图的部位，列举了投影光无法达到的部位。然而，无法获取对应点映射的部位并不限定于此。例如，作为要进行投影的面的材料是玻璃那样的具有透光性的材料，这样的部位也无法进行投影。对于像这样的部位，也无法获取对应点映射。也可以将其通知给指示者。
〔实施方式4〕
如果基于图14以及图15对本公开的其他实施方式进行说明，则如下所述。需要说明的是，为了便于说明，对具有与在所述实施方式中说明过的构件相同的功能的构件标注相同的符号，并省略其说明。
在上述的实施方式1中，对仅在一个面上投影可视化信息的方案进行了说明，在上述的实施方式2中，对在以跨越至少两个以上的面的方式投影可视化信息的情况下进行通知的方案进行了说明。因此，接下来在本实施方式4中，对假定分别在至少两个以上的面上投影彼此相同或不同的可视化信息的方案进行说明。
图14是说明本实施方式4的方案的图。在图14中，投影对象由面1401、面1402以及面1403三个面构成。然后，图14是从上方观察投影装置105相对于该投影对象朝向光轴1405的方向并投影的情况的图。在多数情况下，操作者WR朝向与光轴方向1405大致相同的方向1407对投影内容进行视觉确认。此时，面1401、面1402以及面1403按照上述的数式(7)，无论指示者CR在哪个面上输入可视化信息，在投影适当与否的判定结果上都没有问题。在这样的方案中，尽管实际上投影的内容没有失真，但根据操作者WR的位置，可能会看不见进行了投影的投影内容。例如，在操作者WR处于图14的位置时，即使想要看投影到面1401的内容，由于隐藏在面1402的背面而无法看见、或是即使可以看见相对于面1401的视线的角度也很小，因此无法正确地视觉确认投影内容的可能性高。
因此，在本实施方式4中，为了应对该情况，在面与面的连接部分(以下，称为边缘)成为凸型的情况下，便将其视为产生投影失真的部位，通知操作者可能会无法视觉确认某一个面。
具体而言，使用图15对本实施方式4中的指示装置109的处理流程图进行说明。
在步骤S1501中，与图9的步骤S901相同，第二通信部404接收由操作者侧装置108发送的平面参数，并输出至投影失真部位感测部304。输出后，转移至步骤S1502。
在步骤S1502中，与图9的步骤S902相同，第二通信部404将从操作者侧装置108接收到的影像码输出至解码部305。解码部305对影像码进行解码并将其作为影像111输出至影像显示部307。输出后，转移至步骤S1503。
在步骤S1503(感测步骤)中，与图9的步骤S903相同，投影失真部位感测部304使用平面参数、以及投影装置105的投影方向的信息，来计算出投影对象的面1401以及面1402相对于投影方向的倾斜(角度)(失真信息)。计算后，转移至步骤S1504。
在步骤S1504(感测步骤)中，与步骤S904相同，投影失真部位感测部304将面的倾斜与阈值进行比较，判定是否产生基于面的倾斜的投影失真，将投影失真检测结果向投影失真部位通知部306输出。输出后，转移至步骤S1505。
在步骤S1505(感测步骤)中，投影失真部位感测部304判定是否产生基于前述的边缘的投影失真。
<步骤S1505的详细内容>
图16是用于说明步骤S1505的图。图16示出图14所示的三个面中的两个面1401以及面1402的立体图。
对步骤S1505进行说明，首先，在步骤S15051中，投影失真部位感测部304获取面1401与面1402的边缘向量1601。获取后，转移至步骤S15052。
在步骤S15052中，投影失真部位感测部304获取面1401的法向量1602与面1402的法向量1603。获取后，转移至步骤S15053。
在步骤S15053中，投影失真部位感测部304计算出向量1601与法向量1602的外积，获取副法向量1604。副法向量1604通过下面的数式(8)求出。
[数式8]
(数式中，表示副法向量1604，表示边缘向量1601，表示法向量1603。此外，数式中，×表示代表向量之间的外积的符号)
获取后，转移至步骤S15054。
在步骤S15054中，投影失真部位感测部304求出副法向量1604与法向量1603的内积。内积通过下面的数式(9)求出。
[数式9]
(数式中，表示副法向量1604，表示法向量1602。此外，数式中，sign是一个函数，其返回公式的计算结果的符号，·是表示向量之间的内积的运算符)
之后，转移至步骤S15055。
在步骤S15055中，投影失真部位感测部304基于求出的内积的值，来判定是否产生投影失真。作为判定方法，在求出的内积的值接近0的情况下，两个面1401以及面1402大致平行地相连，因此失真小，即，图14所示的操作者WR能正确地视觉辨认投影至面1401与面1402的内容。在该情况下，不特别进行通知。另一方面，在求出的内积的值为正的情况下，面1401与面1402的边缘为凹形。此外，在求出的内积的值为负的情况下，面1401与面1402的边缘为凸形。投影失真部位感测部304基于求出的内积的值，在面1401与面1402的边缘为凸形的情况下，可能产生失真，即，将投影内容可能会无法被操作者WR视觉确认的投影失真检测结果输出至投影失真部位通知部306。具体而言，将投影至操作者WR正对的面1402与隔着边缘而邻接的面1401的内容可能无法被操作者WR视觉辨认的投影失真检测结果输出至投影失真部位通知部306。
在步骤S1506(通知步骤)中，与图9的步骤S905相同，投影失真部位通知部306基于接收到的投影失真检测结果，进行将通知内容重叠地描绘在与影像111相应的部位上的处理。在此，投影失真部位通知部306获取步骤S1504中判定出的结果、以及步骤S15055中判定出的结果。需要说明的是，若在任一项的结果中有产生失真这样的判定，则投影失真部位通知部306就可以进行重叠描绘表示检测到失真的通知内容的处理。需要说明的是，可以使基于面的倾斜的判定(步骤S1504)优先，假设基于面的倾斜的判定中面1401以及面1402都没有发生失真的情况下，也可以由指示者来选择可否投影。
需要说明的是，步骤S1507以后的处理，与图9的步骤S906以后相同。
〔基于软件的实现例〕
本发明的投影适当与否感测系统的控制部300可以通过形成于集成电路(IC芯片)等的逻辑电路(硬件)来实现，也可以使用CPU通过软件来实现。
在后者的情况下，控制部300具备：执行实现各功能的软件即程序(投影适当与否感测程序)的命令的CPU；计算机(或CPU)可读取地存储有上述程序以及各种数据的ROM(Read Only Memory：只读存储器)或存储装置(将它们称为“存储介质”)；以及扩展上述程序的RAM(Random Access Memory：随机存取存储器)等。然后，通过由计算机(或CPU)从上述记录介质读取并执行上述程序，来达成本公开的目的。作为上述存储介质，可以使用“非暂时的有形介质”，例如磁带、磁盘、卡、半导体存储器、可编程逻辑电路等。此外，可以经由能传输该程序的任意传输介质(通信网络、广播波等)将上述程序提供给上述计算机。需要说明的是，本发明的一个方案以上述程序通过电子传输而具体化的、嵌入至载波的数据信号的形态也能实现。
[总结]
本公开的方案1的投影适当与否感测系统具备：第一终端(包括指示装置109的指示室CS侧的构成)，包括接受对象物(操作对象目标OB)的拍摄图像上的位置的指定的指示装置109；以及第二终端(包括操作者侧装置108的操作现场WS侧的构成)，包括将可视化信息106’(投影内容106)投影到与所述拍摄图像上的被指定的位置对应的所述对象物的被投影面(操作对象目标OB的表面)的投影装置105，所述第一终端与所述第二终端在能相互通信的范围分离，所述投影适当与否感测系统具备：感测部(投影失真部位感测部304)，基于所述拍摄图像，感测所述被投影面是否产生投影失真，第一终端(包括指示装置109的指示室CS侧的构成)具备：输出部(投影失真部位通知部306)，输出所述感测部(投影失真部位感测部304)的感测结果。
根据上述构成，能在将可视化信息投影到被投影面时，感测未被适当地投影的部位，并将该结果通知给设定可视化信息的指示者。
具体而言，根据上述的构成，在将可视化信息(投影内容)投影至被投影面时，分别位于第一终端侧与第二终端侧的投影适当与否感测系统使用者的视点的方向互不相同，因此基于拍摄图像能感测由位于投影装置所在的第二终端侧观察被投影面的使用者(操作者WR)所观察到的投影内容的一部分失真的部位(产生投影失真的部位)。此外，能提供一种输出(通知)存在该部位这一意思的投影适当与否感测系统。
本公开的方案2的投影适当与否感测系统也可以是在所述方案1中，所述感测部(投影失真部位感测部304)基于所述投影装置105将参照图像(图案图像)投影到所述被投影面时，所述拍摄图像与该参照图像的各个像素的对应位置关系，来感测所述被投影面是否产生投影失真。
由于基于所述拍摄图像与所述参照图像的各个像素的对应位置关系来感测失真，因此能在外部环境中使用投影适当与否感测系统。此外，即使被投影面是像桌子上那样平坦且特征极少的部位，只要基于该对应位置关系，就能感测是否产生所述投影失真。
本公开的方案3的投影适当与否感测系统也可以是在所述方案1或2中，所述感测部(投影失真部位感测部304)基于所述被投影面(操作对象目标OB的表面)相对于所述投影装置105的投影方向的角度，来感测所述被投影面是否产生投影失真。
在被投影面没有正对投影装置的投影方向的情况下，由位于第二终端侧且正对该投影方向的投影适当与否感测系统使用者来视觉确认被投影的可视化信息失真。因此，像上述的构成那样，只要基于被投影面相对于投影装置的投影方向的角度，就能感测产生投影失真的部位。
本公开的方案4的投影适当与否感测系统也可以是在所述方案1至3中，所述输出部(投影失真部位通知部306)通过下述方式来输出(通知)所述被投影面(操作对象目标OB的表面)产生投影失真的情况：(1)在所述指示装置109中，在所述拍摄图像上的所述被指定的位置，显示与所述可视化信息不同的图像；(2)在所述指示装置109中，在与所述拍摄图像上的所述被指定的位置不同的位置显示内容(通知内容602)；或者(3)使所述指示装置109振动。
本公开的方案5的投影适当与否感测系统也可以是在所述方案1至4中，所述感测部(投影失真部位感测部304)包括于所述第一终端(包括指示装置109的指示室CS侧的构成)。
本公开的方案6的投影侧终端(包括操作者侧装置108的操作现场WS侧的构成)与包括接受对象物(操作对象目标OB)的拍摄图像上的位置的指定的指示装置109的指示侧终端(包括指示装置109的指示室CS侧的构成)在能通信的范围内分离，包括将可视化信息106’(投影内容106)投影到与所述拍摄图像上的指定的位置对应的所述对象物的被投影面(操作对象目标OB的表面)的投影装置105，所述投影侧终端具备基于所述拍摄图像，来感测所述被投影面是否产生投影失真的感测部，且成为在所述指示侧终端输出所述感测部(投影失真部位感测部304)的感测结果的构成(投影失真部位通知部306)。
本公开的方案7的指示侧终端(包括指示装置109的指示室CS侧的构成)包括接受对象物(操作对象目标OB)的拍摄图像上的位置的指定的指示装置109，所述指示侧终端与包括将可视化信息106’(投影内容106)投影到与所述拍摄图像上的被指定的位置对应的所述对象物的被投影面(操作对象目标OB的表面)的投影装置105的投影侧终端(包括操作者侧装置108的操作现场WS侧的构成)在能通信的范围内分离，所述指示侧终端具备：感测部(投影失真部位感测部304)，基于所述拍摄图像，来感测所述被投影面是否产生投影失真；以及输出部(投影失真部位通知部306)，输出所述感测部(投影失真部位感测部304)的感测结果。
本公开的方案8的投影适当与否感测方法是用于投影适当与否感测系统的投影适当与否感测方法，所述投影适当与否感测系统具备：第一终端(包括指示装置109的指示室CS侧的构成)，包括接受对象物(操作对象目标OB)的拍摄图像上的位置的指定的指示装置109；以及第二终端(包括操作者侧装置108的操作现场WS侧的构成)，与所述第一终端在能通信的范围分离，包括将可视化信息106’(投影内容106)投影到与所述拍摄图像上的被指定的位置对应的所述对象物的被投影面(操作对象目标OB的表面)的投影装置105，所述投影适当与否感测方法包括：感测步骤，基于所述拍摄图像来感测所述被投影面是否产生投影失真；以及输出步骤，在所述第一终端(包括指示装置109的指示室CS侧的构成)中，输出所述感测步骤的感测结果。
根据上述的构成，起到与所述的投影适当与否感测系统的效果相同的效果。
上述方案1至5的投影适当与否感测系统可以通过计算机来实现，在该情况下，通过使计算机作为所述投影适当与否感测系统所具备的各部(软件元素)进行工作而通过计算机实现各部的控制程序、以及记录该控制程序的计算机可读记录介质也进入本发明的范畴。
〔附记事项〕
本公开并不限定于上述各实施方式，能在权利要求所示的范围内进行各种变更，将分别公开于不同的实施方式的技术方案适当组合而得到的实施方式也包含在本公开的技术范围内。而且，通过将分别在各实施方式中公开的技术方案组合，能形成新的技术特征。
(相关申请的相互参照)
本申请基于2017年2月1日提出申请的日本专利申请：日本特愿2017-017061主张优先权的利益，并通过对其进行参照而将其全部内容包括到本说明书中。
符号说明
100 投影适当与否感测系统
WS 操作现场
CS 指示室
WR 操作者
CR 指示者
OB 操作对象目标(对象物的被投影面)
104 外部输入部(第一终端、指示侧终端)
105 投影装置(第二终端、投影侧终端)
106 投影内容
106’ 可视化信息
107 拍摄装置(投影侧终端)
108 操作者侧装置(投影侧终端)
109 指示装置(第一终端、指示侧终端)
110 显示装置(第一终端、指示侧终端)
111 影像
200 管理服务器
300 控制部(控制装置)
301 影像获取部
302 编码部
303 面估计处理部
304 投影失真部位感测部(感测部)
305 解码部
306 投影失真部位通知部(输出部)
307 影像显示部
308 输入接受部
309 投影内容输出部
401 第一通信部
402 第一保存部
403 第一控制部
404 第二通信部
405 第二保存部
406 第二控制部
501 对应点映射获取部
502 点云获取部
503 平面参数导出部
602 通知内容(内容)
1003 凹部
1101 投影范围
1102 拍摄范围
1103、1104 无法获得对应点映射的部位

Claims (9)

1.一种投影适当与否感测系统，具备：
第一终端，包括接受对象物的拍摄图像上的位置的指定的指示装置；以及
第二终端，包括将可视化信息投影到与所述拍摄图像上的被指定的位置对应的所述对象物的被投影面的投影装置，
所述第一终端与所述第二终端在能相互通信的范围中分离，
所述投影适当与否感测系统，其特征在于，具备：
感测部，基于所述拍摄图像，感测所述被投影面是否产生投影失真，
所述第一终端，具备：
输出部，输出所述感测部的感测结果。
2.根据权利要求1所述的投影适当与否感测系统，其特征在于，
所述感测部，基于所述投影装置将参照图像投影到所述被投影面时的，所述拍摄图像与所述参照图像的各个像素的对应位置关系，来感测所述被投影面是否产生投影失真。
3.根据权利要求1或2所述的投影适当与否感测系统，其特征在于，
所述感测部基于所述被投影面相对于所述投影装置的投影方向的角度，来感测所述被投影面是否产生投影失真。
4.根据权利要求1至3中任一项所述的投影适当与否感测系统，其特征在于，
所述输出部通过以下方式来输出所述被投影面产生投影失真的情况：(1)在所述指示装置中，在所述拍摄图像上的所述被指定的位置，显示与所述可视化信息不同的图像；(2)在所述指示装置中，在与所述拍摄图像上的所述被指定的位置不同的位置显示内容；或者(3)使所述指示装置振动。
5.根据权利要求1至4中任一项所述的投影适当与否感测系统，其特征在于，
所述感测部包括于所述第一终端。
6.一种投影侧终端，
与包括接受对象物的拍摄图像上的位置的指定的指示装置的指示侧终端在能通信的范围中分离，包括将可视化信息投影到与所述摄像图像上的被指定的位置对应的所述对象物的被投影面的投影装置，其特征在于，
所述投影侧终端具备基于所述拍摄图像来感测所述被投影面是否产生投影失真的感测部，
将所述感测部的感测结果发送至所述指示侧终端。
7.一种指示侧终端，包括接受对象物的拍摄图像上的位置的指定的指示装置，其特征在于，
所述指示侧终端与包括将可视化信息投影到与所述拍摄图像上的被指定的位置对应的所述对象物的被投影面的投影装置的投影侧终端在能通信的范围内分离，
具备：感测部，基于所述拍摄图像来感测所述被投影面是否产生投影失真；以及
输出部，输出所述感测部的感测结果。
8.一种投影适当与否感测方法，用于投影适当与否感测系统，所述投影适当与否感测系统具备：
第一终端，包括接受对象物的拍摄图像上的位置的指定的指示装置；以及
第二终端，与所述第一终端在能通信的范围中分离，包括将可视化信息投影到与所述拍摄图像上的被指定的位置对应的所述对象物的被投影面的投影装置，
所述投影适当与否感测方法的特征在于，
包括：感测步骤，基于所述拍摄图像来感测所述被投影面是否产生投影失真；以及
输出步骤，在所述第一终端中，输出所述感测步骤的感测结果。
9.一种投影适当与否感测程序，用于使计算机作为权利要求1至5中任一项所述的投影适当与否感测系统的各部而发挥功能，其特征在于，用于使计算机作为所述感测部以及所述输出部而发挥功能。
CN201780085405.1A 2017-02-01 2017-11-30 投影适当与否感测系统、投影适当与否感测方法以及投影适当与否感测程序 Pending CN110268709A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017-017061 2017-02-01
JP2017017061 2017-02-01
PCT/JP2017/043143 WO2018142743A1 (ja) 2017-02-01 2017-11-30 投影適否検知システム、投影適否検知方法及び投影適否検知プログラム

Publications (1)

Publication Number Publication Date
CN110268709A true CN110268709A (zh) 2019-09-20

Family

ID=63040450

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780085405.1A Pending CN110268709A (zh) 2017-02-01 2017-11-30 投影适当与否感测系统、投影适当与否感测方法以及投影适当与否感测程序

Country Status (4)

Country Link
US (1) US20190349556A1 (zh)
JP (1) JP6830112B2 (zh)
CN (1) CN110268709A (zh)
WO (1) WO2018142743A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7415439B2 (ja) * 2019-10-28 2024-01-17 セイコーエプソン株式会社 プロジェクターの制御方法及びプロジェクター

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1358023A (zh) * 2000-11-20 2002-07-10 精工爱普生株式会社 投影仪和图像失真修正方法
CN101656857A (zh) * 2008-08-19 2010-02-24 精工爱普生株式会社 投影型显示装置和显示方法
CN101946117A (zh) * 2008-02-22 2011-01-12 松下电工株式会社 光投影装置、照明装置
US8866976B1 (en) * 2013-06-14 2014-10-21 Seiko Epson Corporation Projector and method of controlling projector
JP2014212467A (ja) * 2013-04-19 2014-11-13 セイコーエプソン株式会社 プロジェクター、及びプロジェクターの制御方法
US20150077584A1 (en) * 2013-09-17 2015-03-19 Ricoh Company, Limited Image processing system, image processing apparatus, and image processing method
US20150195479A1 (en) * 2014-01-06 2015-07-09 Kabushiki Kaisha Toshiba Image processor, image processing method, and image projector
US20150234262A1 (en) * 2011-09-30 2015-08-20 Seiko Epson Corporation Projector and method for controlling projector
CN105204276A (zh) * 2012-06-06 2015-12-30 精工爱普生株式会社 投影系统以及投影仪
CN105519098A (zh) * 2014-05-27 2016-04-20 联发科技股份有限公司 投射处理器和相关方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04355740A (ja) * 1991-06-03 1992-12-09 Hitachi Ltd プロジェクタ
JP2003270719A (ja) * 2002-03-13 2003-09-25 Osaka Industrial Promotion Organization 投影方法、投影装置、作業支援方法及び作業支援システム
JP2004029110A (ja) * 2002-06-21 2004-01-29 Canon Inc 投射型表示装置
JP2005031205A (ja) * 2003-07-08 2005-02-03 Seiko Precision Inc 角度検出装置及びそれを備えたプロジェクタ
JP2006145613A (ja) * 2004-11-16 2006-06-08 Canon Inc 投射装置
JP4670424B2 (ja) * 2005-03-25 2011-04-13 ソニー株式会社 情報処理装置および情報処理方法、画像表示システム、並びに、プログラム
CN101322402B (zh) * 2005-12-22 2010-09-15 松下电器产业株式会社 图像投影装置、控制方法以及半导体装置

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1358023A (zh) * 2000-11-20 2002-07-10 精工爱普生株式会社 投影仪和图像失真修正方法
CN101946117A (zh) * 2008-02-22 2011-01-12 松下电工株式会社 光投影装置、照明装置
CN101656857A (zh) * 2008-08-19 2010-02-24 精工爱普生株式会社 投影型显示装置和显示方法
US20150234262A1 (en) * 2011-09-30 2015-08-20 Seiko Epson Corporation Projector and method for controlling projector
CN105204276A (zh) * 2012-06-06 2015-12-30 精工爱普生株式会社 投影系统以及投影仪
JP2014212467A (ja) * 2013-04-19 2014-11-13 セイコーエプソン株式会社 プロジェクター、及びプロジェクターの制御方法
US8866976B1 (en) * 2013-06-14 2014-10-21 Seiko Epson Corporation Projector and method of controlling projector
US20150077584A1 (en) * 2013-09-17 2015-03-19 Ricoh Company, Limited Image processing system, image processing apparatus, and image processing method
US20150195479A1 (en) * 2014-01-06 2015-07-09 Kabushiki Kaisha Toshiba Image processor, image processing method, and image projector
CN105519098A (zh) * 2014-05-27 2016-04-20 联发科技股份有限公司 投射处理器和相关方法

Also Published As

Publication number Publication date
JPWO2018142743A1 (ja) 2019-12-19
WO2018142743A1 (ja) 2018-08-09
US20190349556A1 (en) 2019-11-14
JP6830112B2 (ja) 2021-02-17

Similar Documents

Publication Publication Date Title
Zhang et al. Viewport: A distributed, immersive teleconferencing system with infrared dot pattern
KR20180111798A (ko) 파노라마 프레임 생성 프로세스에서 프레임의 적응적 스티칭
US10681272B2 (en) Device for providing realistic media image
CN106997579B (zh) 图像拼接的方法和装置
JP2016537903A (ja) バーチャルリアリティコンテンツのつなぎ合わせおよび認識
JP2017532847A (ja) 立体録画及び再生
US9973694B1 (en) Image stitching to form a three dimensional panoramic image
CN109660783A (zh) 虚拟现实视差校正
CN109361913A (zh) 用于对于头戴式显示器提供三维图像的方法和装置
EP2255339A1 (en) Method and apparatus for modifying a digital image
JP6512575B2 (ja) 三次元形状情報の配信または放送の方法
US9380263B2 (en) Systems and methods for real-time view-synthesis in a multi-camera setup
CN109640070A (zh) 一种立体显示方法、装置、设备及存储介质
Kovács et al. Measurement of perceived spatial resolution in 3D light-field displays
CN109644280B (zh) 生成场景的分层深度数据的方法
EP3396635A2 (en) A method and technical equipment for encoding media content
JPWO2012056685A1 (ja) ３次元画像処理装置、３次元撮像装置および３次元画像処理方法
Zilly et al. Real-time generation of multi-view video plus depth content using mixed narrow and wide baseline
Sajadi et al. Scalable Multi‐view Registration for Multi‐Projector Displays on Vertically Extruded Surfaces
Schreer et al. 3dpresence-a system concept for multi-user and multi-party immersive 3d videoconferencing
JP6148154B2 (ja) 画像処理装置及び画像処理プログラム
CN114827465A (zh) 图像采集方法、装置及电子设备
EP3729805A1 (en) Method for encoding and decoding volumetric video data
CN110268709A (zh) 投影适当与否感测系统、投影适当与否感测方法以及投影适当与否感测程序
Simone et al. Omnidirectional video communications: new challenges for the quality assessment community

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20190920