CN117808993A - 处理器、信息处理方法及非暂时性存储介质 - Google Patents

处理器、信息处理方法及非暂时性存储介质 Download PDF

Info

Publication number
CN117808993A
CN117808993A CN202311190804.8A CN202311190804A CN117808993A CN 117808993 A CN117808993 A CN 117808993A CN 202311190804 A CN202311190804 A CN 202311190804A CN 117808993 A CN117808993 A CN 117808993A
Authority
CN
China
Prior art keywords
real space
marker
display device
image
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311190804.8A
Other languages
English (en)
Inventor
神谷毅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of CN117808993A publication Critical patent/CN117808993A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/002—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to project the image of a two-dimensional display, such as an array of light emitting or modulating elements or a CRT
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0464—Positioning
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

一种能够使透射型显示装置的用户充分地视觉辨认与标记对应的现实空间的位置的处理器、信息处理方法及非暂时性存储介质。处理器进行如下处理：将透射型显示装置的相机所拍摄的摄影图像、表示对显示于其他显示装置的摄影图像进行的标记的位置的信息、透射型显示装置可显示显示图像的现实空间的区域及标记在现实空间中的位置进行比较，在现实空间中的标记在现实空间中的位置为可显示显示图像的现实空间的区域外的情况下，显示表示标记在现实空间中的位置的信息，获取检测出透射型显示装置的用户的视线的检测结果，将视线的检测结果与标记在现实空间中的位置或表示标记在现实空间中的位置的信息进行比较，变更标记或表示标记的位置的信息的显示状态。

Description

处理器、信息处理方法及非暂时性存储介质
技术领域
本发明涉及一种处理器、信息处理方法及信息处理程序。
背景技术
以往，已知有在现实空间中将图像以叠加的状态显示的增强现实(AR：AugmentedReality)设备等透射型显示装置。已知有一种技术，其中，根据由附属于透射型显示装置的相机拍摄的图像，对透射型显示装置的用户输出信息。
例如，在专利文献1中记载了一种技术，其中，接收由附属于头戴式显示器的相机拍摄的图像信息，并根据图像信息来对现场侧信息提示装置输出作业支援信息。
专利文献1：日本特开2018-147144号公报
然而，在以往的技术中，有时不足以使透射型显示装置的用户视觉辨认所输出的信息。
发明内容
本发明是鉴于以上情况而完成的，其目的在于提供一种能够使透射型显示装置的用户充分地视觉辨认与标记对应的现实空间的位置的处理器、信息处理方法及信息处理程序。
为了实现上述目的，本发明的第1方式的处理器进行如下处理：将附属于透射型显示装置的相机所拍摄的摄影图像、表示对显示于与透射型显示装置不同的显示装置的摄影图像进行的标记的位置的信息、透射型显示装置可显示显示图像的现实空间的区域及标记在现实空间中的位置进行比较，在现实空间中的标记在现实空间中的位置为可显示显示图像的现实空间的区域外的情况下，显示表示标记在现实空间中的位置的信息，获取检测出透射型显示装置的用户的视线的检测结果，将视线的检测结果与标记在现实空间中的位置或表示标记在现实空间中的位置的信息进行比较，变更标记的显示状态或表示标记的位置的信息的显示状态。
本发明的第2方式的处理器在第1方式的处理器中，视线的检测结果为用户的视线方向的信息。
本发明的第3方式的处理器在第2方式的处理器中，变更显示状态的处理为根据标记在现实空间中的位置为可显示显示图像的现实空间的区域外还是区域内来变更显示状态的处理。
本发明的第4方式的处理器在第2方式的处理器中，变更显示状态的处理为基于视线方向的信息朝向标记的位置或表示标记的位置的信息的位置的时间的处理。
本发明的第5方式的处理器在第4方式的处理器中，变更显示状态的处理根据对标记赋予的属性，对变更信息的显示状态的处理进行变更。
本发明的第6方式的处理器在第2方式的处理器中，在标记在现实空间中的位置为透射型显示装置中可显示显示图像的现实空间的区域外的情况下，根据与标记在现实空间中的位置的距离，使表示标记的位置的信息的显示方式不同。
为了实现上述目的，本发明的第7方式的信息处理方法中，由处理器执行如下处理：将附属于透射型显示装置的相机所拍摄的摄影图像、表示对显示于与透射型显示装置不同的显示装置的摄影图像进行的标记的位置的信息、透射型显示装置可显示显示图像的现实空间的区域及标记在现实空间中的位置进行比较，在现实空间中的标记在现实空间中的位置为可显示显示图像的现实空间的区域外的情况下，显示表示标记在现实空间中的位置的信息，获取检测出透射型显示装置的用户的视线的检测结果，将视线的检测结果与标记在现实空间中的位置或表示标记在现实空间中的位置的信息进行比较，变更标记的显示状态或表示标记的位置的信息的显示状态。
为了实现上述目的，本发明的第8方式的信息处理程序用于使处理器执行如下处理：将附属于透射型显示装置的相机所拍摄的摄影图像、表示对显示于与透射型显示装置不同的显示装置的摄影图像进行的标记的位置的信息、透射型显示装置可显示显示图像的现实空间的区域及标记在现实空间中的位置进行比较，在现实空间中的标记在现实空间中的位置为可显示显示图像的现实空间的区域外的情况下，显示表示标记在现实空间中的位置的信息，获取检测出透射型显示装置的用户的视线的检测结果，将视线的检测结果与标记在现实空间中的位置或表示标记在现实空间中的位置的信息进行比较，变更标记的显示状态或表示标记的位置的信息的显示状态。
发明效果
根据本发明，能够使透射型显示装置的用户充分地视觉辨认与标记对应的现实空间的位置。
附图说明
图1是表示实施方式的信息处理系统的结构的一例的结构图。
图2是表示实施方式的AR玻璃的结构的一例的结构图。
图3是表示实施方式的AR玻璃的一例的立体图。
图4是表示实施方式的智能手机的硬件结构的一例的框图。
图5是表示实施方式的图像显示装置的硬件结构的一例的框图。
图6是表示实施方式的信息处理装置的硬件结构的一例的框图。
图7是表示实施方式的信息处理装置的结构的一例的功能框图。
图8是表示在实施方式的信息处理装置的处理器中执行的信息处理的流程的一例的流程图。
符号说明
1-信息处理系统，10-AR玻璃，12-智能手机，14-图像显示装置，16-信息处理装置，19-网络，20L-左眼用透射部，20R-右眼用透射部，22L-左眼用透镜，22R-右眼用透镜，24-导光板，25-测距装置，26-OLED，27-相机，28-6DoF传感器，29-视线检测传感器，40、50、60-CPU，41、51、61-处理器，42、52、62-存储器，43、53、63-I/F部，44、54、64-存储部，45-图像处理程序，46、56、66-显示器，48、58、68-输入装置，49、59、69-总线，55-显示控制程序，65-信息处理程序，70-第1获取部，72-第2发送部，74-第2获取部，76-现实位置导出部，78-投影图像生成部，79-第1发送部。
具体实施方式
以下，参考附图，对用于实施本发明的技术的实施例进行详细说明。
参考图1，对本实施方式的信息处理系统1的结构进行说明。如图1所示，本实施方式的信息处理系统1具备AR(Augmented Reality：增强现实)玻璃10、智能手机12、图像显示装置14及信息处理装置16。智能手机12、图像显示装置14及信息处理装置16经由网络19通过有线通信或无线通信连接。本实施方式的AR玻璃10为本发明的透射型显示装置的一例，本实施方式的图像显示装置14为与本发明的透射型显示装置不同的显示装置的一例。
本实施方式的信息处理系统1中，信息处理装置16具有如下功能：使图像显示装置14显示由AR玻璃10的相机对现实世界进行拍摄而得的摄影图像，使AR玻璃10显示与在图像显示装置14中对摄影图像进行的标记有关的信息。以下，将使用AR玻璃10的用户称为“第1用户”，将使用图像显示装置14的用户称为“第2用户”，在将两者不区分而统称的情况下，简称为“用户”。
首先，参考图2及图3，对本实施方式的AR玻璃10及智能手机12的结构进行说明。在图3中示出本实施方式的AR玻璃10的一例的立体图。如图2及图3所示，AR玻璃10具备一对左眼用透射部20L及右眼用透射部20R、测距装置25、OLED26、相机27、6DoF(Six-Degrees ofFreedom：六自由度)传感器28、以及视线检测传感器29。
OLED26将表示信息的图像(投影图像)投影到右眼用透射部20R，以在由用户通过右眼用透射部20R视觉辨认的现实像的视野内重叠地插入信息。
右眼用透射部20R包括右眼用透镜22R及导光板24。与从OLED26投影的投影图像相对应的光射入到导光板24的一端。在导光板24中传播的光在出射部(省略图示)中改变朝向，并沿着用户眼睛的方向射出。从导光板24射出的与投影图像相对应的光透射右眼用透镜22R，被引导至用户的右眼，作为投影像用右眼视觉辨认。并且，用户用右眼视觉辨认通过右眼用透镜22R的现实空间作为现实像。
因此，在从OLED26投影投影图像的期间，由用户的右眼视觉辨认的视觉辨认像成为表示通过右眼用透镜22R的现实空间的现实像和与投影到导光板24的投影图像相对应的投影像重叠而成的状态。并且，在未从OLED26投影投影图像的期间，由用户视觉辨认的视觉辨认像成为表示通过右眼用透镜22R及导光板24的现实空间的现实像。
另一方面，左眼用透射部20L包括左眼用透镜22L。用户用左眼视觉辨认通过左眼用透镜22L的现实空间。
测距装置25为用于测量AR玻璃10与周围区域的距离的装置。作为测距装置25，例如，可举出LiDAR(Light Detection And Ranging：激光雷达)。本实施方式的测距装置25对于与相机27的摄影范围相同的区域，测量AR玻璃10与区域范围的距离，并将测距的结果输出到智能手机12。
相机27为对第1用户所观察的现实世界进行拍摄的相机。作为相机27，例如，可举出CMOS(Complementary Metal Oxide Semiconductor：互补金属氧化物半导体)相机等数字式相机。在本实施方式中，相机27能够拍摄彩色图像，以向用户提供表示现实世界的图像。另外，相机27的摄影范围可以是与在右眼用透射部20R可显示投影图像的现实空间的区域相同的大小的区域，也可以是不同大小的区域。另外，在本实施方式中，“摄影图像”是指由相机27拍摄的图像。由相机27拍摄的摄影图像被输出到智能手机12。
6DoF传感器28具有检测AR玻璃10的移动、换句话说第1用户的头部的移动的功能。6DoF传感器28将检测结果输出到智能手机12。
视线检测传感器29为检测第1用户的视线的传感器。作为视线检测传感器29，能够应用公知的传感器，例如，可举出根据虹膜或瞳孔的位置来检测第1用户的视线方向的传感器等。作为一例，本实施方式的AR玻璃10检测第1用户的右眼的视线。视线检测传感器29的检测结果被输出到智能手机12。
另一方面，智能手机12对OLED26进行使投影图像从AR玻璃10的OLED26投影到导光板24的控制。在图4中示出表示智能手机12的硬件结构的一例的框图。如图4所示，智能手机12具备CPU(Central Processing Unit：中央处理器)40、存储器42、I/F(InterFace：接口)部43、存储部44、显示器46及输入装置48。CPU40、存储器42、I/F部43、存储部44、显示器46及输入装置48经由系统总线、控制总线等总线49相互以能够收发各种信息的方式连接。
CPU40将包括存储于存储部44的图像处理程序45的各种程序读出到存储器42，并执行根据所读出的程序的处理。由此，CPU40进行基于OLED26的投影图像的显示的控制。作为一例，本实施方式的处理器41由CPU40和图像处理程序45的组合构成。存储器42是用于CPU40执行处理的工作存储器。
在CPU40中执行的图像处理程序45存储于存储部44。并且，在存储部44中还存储从OLED26投影的投影图像的图像数据(省略图示)、其他各种信息等。作为存储部44的具体例，可举出HDD(Hard Disk Drive：硬盘驱动器)或SSD(Solid State Drive：固态硬盘)等。
I/R部43通过无线通信或有线通信与OLED26之间进行各种信息的通信。显示器46及输入装置48作为用户界面发挥功能。显示器46向用户提供与投影图像的投影有关的各种信息。显示器46并无特别限定，可举出液晶显示器及LED(Light Emitting Diode：发光二极管)显示器等。并且，输入装置48由用户进行操作以输入与投影图像的投影有关的各种命令、与导航中的目的地有关的信息。输入装置48并无特别限定，例如，可举出键盘、触控笔及鼠标等。另外，在智能手机12中，采用了将显示器46与输入装置48进行了一体化的触摸屏显示器。
另一方面，如上所述，图像显示装置14用于第2用户观察AR玻璃10的相机27所拍摄的摄影图像。
在图5中示出表示与图像显示装置14的功能有关的结构的一例的功能框图。如图5所示，图像显示装置14具备CPU50、存储器52、I/F部53、存储部54、显示器56及输入装置58。CPU50、存储器52、I/F部53、存储部54、显示器56及输入装置58经由系统总线、控制总线等总线59相互以能够收发各种信息的方式连接。
CPU50将包括存储于存储部54的显示控制程序55的各种程序读出到存储器52，并执行根据所读出的程序的处理。作为一例，本实施方式的处理器51由CPU50和显示控制程序55的组合构成。存储器52是用于CPU50执行处理的工作存储器。
在存储部54中存储显示控制程序55及从智能手机12接收的各种图像的图像数据、其他各种信息等。作为存储部54的具体例，可举出HDD、SSD等。
I/F部53通过无线通信或有线通信与信息处理装置16之间进行各种信息的通信。显示器56及输入装置58作为用户界面发挥功能。显示器56显示从智能手机12接收的各种图像。显示器56并无特别限定，可举出液晶显示器及LED显示器等。并且，输入装置58由第2用户操作以对摄影图像进行标记。输入装置58并无特别限定，例如，可举出键盘、触控笔及鼠标等。另外，可以采用将显示器56与输入装置58进行了一体化的触摸屏显示器。
另一方面，如上所述，信息处理装置16具有如下功能：使图像显示装置14显示AR玻璃10的相机27所拍摄的摄影图像，使AR玻璃10显示与由图像显示装置14进行的标记有关的信息。
在图6中示出表示与信息处理装置16的功能有关的结构的一例的功能框图。如图6所示，信息处理装置16具备CPU60、存储器62、I/F部63、存储部64、显示器66及输入装置68。CPU60、存储器62、I/F部63、存储部64、显示器66及输入装置68经由系统总线、控制总线等总线69相互以能够收发各种信息的方式连接。
CPU60将包括存储于存储部64的信息处理程序65的各种程序读出到存储器62，并执行根据所读出的程序的处理。作为一例，本实施方式的处理器61由CPU60和信息处理程序65的组合构成。存储器62是用于CPU60执行处理的工作存储器。
在存储部64中存储信息处理程序65及从智能手机12接收的各种图像的图像数据、其他各种信息等。作为存储部64的具体例，可举出HDD、SSD等。
I/F部63通过无线通信或有线通信与智能手机12及图像显示装置14之间进行各种信息的通信。显示器66及输入装置68作为用户界面发挥功能。显示器66显示从智能手机12接收的各种图像。显示器66并无特别限定，可举出液晶显示器及LED显示器等。输入装置68并无特别限定，例如，可举出键盘、触控笔及鼠标等。另外，可以采用将显示器66与输入装置68进行了一体化的触摸屏显示器。
接着，对本实施方式中的信息处理装置16的处理器61的作用进行说明。在图7中示出表示信息处理装置16的结构的一例的功能框图。信息处理装置16具备第1获取部70、第2发送部72、第2获取部74、第1标记图像75、投影图像生成部78及第1发送部79。
第1获取部70具有从智能手机12获取测距装置25的检测结果、相机27所拍摄的摄影图像、6DoF传感器28的检测结果及视线检测传感器29的检测结果的功能。摄影图像被输出到第2发送部72及投影图像生成部78。6DoF传感器28及测距装置25的检测结果被输出到现实位置导出部76。视线检测传感器29的检测结果被输出到投影图像生成部78。
第2发送部72具有将摄影图像输出到图像显示装置14的功能。
第2获取部74具有获取表示第2用户在图像显示装置14中进行的标记的位置的位置信息的功能。位置信息被输出到现实位置导出部7G。
现实位置导出部76具有根据测距装置25的检测结果及位置信息来导出标记在现实空间中的位置(以下，称为现实位置)的功能。现实位置导出部76例如参考摄影图像与测距装置25的检测结果的对应关系，根据与对摄影图像的标记的位置相对应的检测结果，导出标记的现实位置。
投影图像生成部78根据AR玻璃10的机种信息，将在AR玻璃10中可显示投影图像的现实空间的区域(以下，称为可显示区域)与标记的现实位置进行比较。投影图像生成部78在标记的现实位置为可显示区域内的情况下，生成表示与现实位置相对应的标记的图像的投影图像。另一方面，投影图像生成部78在标记的现实位置为可显示区域外的情况下，生成表示表示现实位置的箭头等的位置信息的投影图像。
第1发送部79具有将投影图像生成部78所生成的投影图像输出到智能手机12的功能。
在图8中示出表示在信息处理装置16的处理器61中执行的信息处理的流程的一例的流程图。
在步骤S100中，第1获取部70经由智能手机12获取AR玻璃10的相机27所拍摄的摄影图像。并且，第1获取部70还获取测距装置25的检测结果、6DoF传感器28的检测结果。
在下一个步骤S102中，第2发送部72将摄影图像输出到图像显示装置14。在图像显示装置14中，相机27所拍摄的摄影图像显示于显示器56。第2用户使用输入装置58对显示于显示器56的摄影图像标记欲向AR玻璃10第1用户示出的区域。
在步骤S104中，第2获取部74判定是否接收了表示标记的位置的位置信息。接收之前步骤S104的判定成为否定判定，若接收则成为肯定判定，转移到步骤S106。
在步骤S106中，现实位置导出部76根据表示标记的位置的信息和经由智能手机12获取的测距装置25及6DoF传感器28的检测结果，导出标记的现实位置。
在下一个步骤S108中，投影图像生成部78判定现实位置是否为可显示区域内。在可显示区域内的情况下，步骤S108的判定成为肯定判定，转移到步骤S110。在步骤S110中，投影图像生成部78生成与现实位置相对应的标记的投影图像。
另一方面，在现实位置为可显示区域外的情况下，步骤S108的判定成为否定判定，转移到步骤S112。在步骤S112中，投影图像生成部78生成表示现实位置的位置信息的投影图像。
在下一个步骤S114中，第1发送部79将投影图像输出到智能手机12。智能手机12使AR玻璃10显示所接收的投影图像。并且，智能手机12将视线检测传感器29的检测结果输出到信息处理装置16。
在下一个步骤S116中，第1获取部70从智能手机12接收视线检测传感器29的检测结果。
在下一个步骤S118中，投影图像生成部78根据视线检测结果来判定第1用户是否视觉辨认了标记。具体而言，判定是否视觉辨认了与标记相对应的现实空间的位置。
在未视觉辨认的情况下，成为否定判定，转移到步骤S120。在步骤S120中，投影图像生成部78判定是否经过了设定时间。从显示投影图像起经过设定时间为止成为否定判定，返回到步骤S118。另一方面，若经过设定时间则成为肯定判定，转移到步骤S122。在步骤S122中，投影图像生成部78增加投影图像的亮度，亮度增加后的投影图像通过第1发送部79输出到智能手机12。即，投影图像生成部78进行如下处理：将视线的检测结果与标记在现实空间中的位置或表示标记在现实空间中的位置的信息进行比较，变更标记的显示状态或表示标记的位置的信息的显示状态。
另一方面，在视觉辨认了标记的情况下，步骤S118的判定成为肯定判定，转移到步骤S124。在步骤S124中，第1发送部79将投影结束命令输出到智能手机12。由此，在AR玻璃10中，标记的投影图像的显示结束。若步骤S124的处理结束，则图8所示的信息处理结束。
由此，根据本实施方式的信息处理装置16，能够使AR玻璃10的用户充分地视觉辨认与标记对应的现实空间的位置。
另外，眼镜型信息显示装置的形状不限定于一般的眼镜的形状、用途、安装部位。并且，眼镜型信息显示装置可以是单眼型，也可以是复眼型，在上述方式中，对用一只眼睛视觉辨认投影像的方式进行了说明，但是也可以是用双眼视觉辨认投影像的方式。也可以是如眼罩那样左右连接的形状。并且，不限定于如所谓的头戴式显示器那样安装于人头部(例如，若在模仿人的功能的同时外形为狗的机器人，人眼的功能由位于机器人的膝盖的相机实现，则本发明的控制装置安装于膝盖)。这种控制装置也包括在本发明的技术中。
并且，对于上述方式的处理器61的功能的一部分或全部，可以是AR玻璃10具备，并且也可以是图像显示装置14具备。
并且，在上述方式中，例如，作为第1获取部70、第2发送部72、第2获取部74、现实位置导出部76、投影图像生成部78及第1发送部79等执行各种处理的处理部(processingunit)的硬件结构，能够使用以下所示的各种处理器(processor)。如前所述，上述各种处理器中，除了执行软件(程序)而作为各种处理部发挥作用的通用的处理器即CPU以外，还包括在制造FPGA(Field Programmable Gate Array：现场可编程门阵列)等之后能够变更回路结构的处理器即可编程逻辑器件(Programmable Logic Device：PLD)、ASIC(ApplicationSpecific Integrated Circuit：特定应用积体回路)等具有为了执行特定的处理而专门设计的回路结构的处理器即专用电路等。
1个处理部可以由这些各种处理器中的1个构成，也可以由相同种类或不同种类的2个以上的处理器的组合(例如，多个FPGA的组合、CPU与FPGA的组合)构成。并且，也可以由1个处理器构成多个处理部。
作为由1个处理器构成多个处理部的例子，首先，如上述实施方式那样，有如客户端及服务器等计算机为代表那样，由1个以上的CPU和软件的组合构成1个处理器，该处理器作为多个处理部发挥作用的方式。其次，有如以片上系统(System On Chip：SoC)等为代表那样，使用由1个IC(Integrated Circuit：集成电路)芯片实现包括多个处理部的整个系统的功能的处理器的方式。如此，各种处理部作为硬件结构利用1个以上的上述各种处理器来构成。
而且，作为这些各种处理器的硬件结构，更具体而言，能够使用组合半导体元件等回路元件而成的电路(circuitry)。
并且，在上述各方式中，对信息处理程序65被预先存储(安装)于存储部64的方式进行了说明，但是并不限定于此。图像处理程序45可以以记录在CD-ROM(Compact DiscRead Only Memory：只读光盘存储器)、DVD-ROM(Digital Versatile Disc Read OnlyMemory：数字化通用只读光盘存储器)及USB(Universal Serial Bus：通用串行总线)存储器等记录介质中的方式提供。并且，信息处理程序65也可以设为经由网络从外部装置下载的方式。

Claims (8)

1.一种处理器，其进行如下处理：
将附属于透射型显示装置的相机所拍摄的摄影图像、表示对显示于与所述透射型显示装置不同的显示装置的所述摄影图像进行的标记的位置的信息、所述透射型显示装置可显示显示图像的现实空间的区域及所述标记在所述现实空间中的位置进行比较，
在现实空间中的所述标记在所述现实空间中的位置为可显示所述显示图像的现实空间的区域外的情况下，显示表示所述标记在所述现实空间中的位置的信息，
获取检测出所述透射型显示装置的用户的视线的检测结果，
将所述视线的检测结果与所述标记在所述现实空间中的位置或表示所述标记在所述现实空间中的位置的信息进行比较，
变更所述标记的显示状态或表示所述标记的位置的信息的显示状态。
2.根据权利要求1所述的处理器，其中，
所述视线的检测结果为所述用户的视线方向的信息。
3.根据权利要求2所述的处理器，其中，
变更所述显示状态的处理为根据所述标记在所述现实空间中的位置为可显示所述显示图像的现实空间的区域外还是区域内来变更显示状态的处理。
4.根据权利要求2所述的处理器，其中，
变更所述显示状态的处理为基于所述视线方向的信息朝向所述标记的位置或表示所述标记的位置的信息的位置的时间的处理。
5.根据权利要求4所述的处理器，其中，
变更所述显示状态的处理根据对所述标记赋予的属性，对变更所述信息的显示状态的处理进行变更。
6.根据权利要求2所述的处理器，其中，
在所述标记在所述现实空间中的位置为所述透射型显示装置中可显示所述显示图像的现实空间的区域外的情况下，
根据与所述标记在所述现实空间中的位置的距离，使表示所述标记的位置的信息的显示方式不同。
7.一种信息处理方法，其中，
由处理器执行如下处理：
将附属于透射型显示装置的相机所拍摄的摄影图像、表示对显示于与所述透射型显示装置不同的显示装置的所述摄影图像进行的标记的位置的信息、所述透射型显示装置可显示显示图像的现实空间的区域及所述标记在所述现实空间中的位置进行比较，
在现实空间中的所述标记在所述现实空间中的位置为可显示所述显示图像的现实空间的区域外的情况下，显示表示所述标记在所述现实空间中的位置的信息，
获取检测出所述透射型显示装置的用户的视线的检测结果，
将所述视线的检测结果与所述标记在所述现实空间中的位置或表示所述标记在所述现实空间中的位置的信息进行比较，
变更所述标记的显示状态或表示所述标记的位置的信息的显示状态。
8.一种非暂时性存储介质，存储有用于使处理器执行如下处理的信息处理程序：
将附属于透射型显示装置的相机所拍摄的摄影图像、表示对显示于与所述透射型显示装置不同的显示装置的所述摄影图像进行的标记的位置的信息、所述透射型显示装置可显示显示图像的现实空间的区域及所述标记在所述现实空间中的位置进行比较，
在现实空间中的所述标记在所述现实空间中的位置为可显示所述显示图像的现实空间的区域外的情况下，显示表示所述标记在所述现实空间中的位置的信息，
获取检测出所述透射型显示装置的用户的视线的检测结果，
将所述视线的检测结果与所述标记在所述现实空间中的位置或表示所述标记在所述现实空间中的位置的信息进行比较，
变更所述标记的显示状态或表示所述标记的位置的信息的显示状态。
CN202311190804.8A 2022-09-30 2023-09-14 处理器、信息处理方法及非暂时性存储介质 Pending CN117808993A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022-159106 2022-09-30
JP2022159106A JP2024052410A (ja) 2022-09-30 2022-09-30 プロセッサ、情報処理方法、及び情報処理プログラム

Publications (1)

Publication Number Publication Date
CN117808993A true CN117808993A (zh) 2024-04-02

Family

ID=88207042

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311190804.8A Pending CN117808993A (zh) 2022-09-30 2023-09-14 处理器、信息处理方法及非暂时性存储介质

Country Status (4)

Country Link
US (1) US20240111362A1 (zh)
EP (1) EP4345585A1 (zh)
JP (1) JP2024052410A (zh)
CN (1) CN117808993A (zh)

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10140773B2 (en) * 2017-02-01 2018-11-27 Accenture Global Solutions Limited Rendering virtual objects in 3D environments
JP2018147144A (ja) 2017-03-03 2018-09-20 株式会社日立システムズ 作業支援システムおよび作業支援方法

Also Published As

Publication number Publication date
EP4345585A1 (en) 2024-04-03
US20240111362A1 (en) 2024-04-04
JP2024052410A (ja) 2024-04-11

Similar Documents

Publication Publication Date Title
JP6531404B2 (ja) 両眼光学拡張現実システムの範囲較正
US20170124396A1 (en) Dynamically created and updated indoor positioning map
US20180032133A1 (en) Eye-gaze detection system, displacement detection method, and displacement detection program
US10878285B2 (en) Methods and systems for shape based training for an object detection algorithm
CN114761909A (zh) 针对头戴式显示器的内容稳定
US10634918B2 (en) Internal edge verification
JP2017213191A (ja) 視線検出装置、視線検出方法、及び視線検出プログラム
WO2017057106A1 (ja) 入力装置、入力方法、及びプログラム
KR100844129B1 (ko) 카메라를 이용한 마우스 인터페이스 장치, 이 장치에 의한시스템 및 방법, 그리고 이를 실현하기 위한 컴퓨터로 읽을수 있는 기록매체
KR20200035003A (ko) 정보 처리 장치, 정보 처리 방법, 및 프로그램
JP2016218893A (ja) 入力操作検出装置、画像表示装置、プロジェクタ装置、プロジェクタシステム、及び入力操作検出方法
CN116661143A (zh) 图像处理装置、图像处理方法及存储介质
CN117808993A (zh) 处理器、信息处理方法及非暂时性存储介质
JP2017032870A (ja) 画像投影装置及び画像表示システム
US10969865B2 (en) Method for transmission of eye tracking information, head mounted display and computer device
TW201807540A (zh) 信息處理系統、操作方法及操作程序
JP2017125764A (ja) 物体検出装置、及び物体検出装置を備えた画像表示装置
US20190364256A1 (en) Method and System for Dynamically Generating Scene-Based Display Content on a Wearable Heads-Up Display
US20220413295A1 (en) Electronic device and method for controlling electronic device
US20240087489A1 (en) Processor, image processing device, glasses-type information display device, image processing method, and image processing program
US20220252884A1 (en) Imaging system, display device, imaging device, and control method for imaging system
US11282228B2 (en) Information processing device, information processing method, and program
EP4250754A1 (en) Control device, control method, and control program
WO2023062995A1 (ja) ヘッドマウント装置及び導光装置
WO2022201430A1 (ja) ウェアラブル端末装置、プログラムおよび表示方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication