CN108885802B - 信息处理装置、信息处理方法和存储介质 - Google Patents
信息处理装置、信息处理方法和存储介质 Download PDFInfo
- Publication number
- CN108885802B CN108885802B CN201780019430.XA CN201780019430A CN108885802B CN 108885802 B CN108885802 B CN 108885802B CN 201780019430 A CN201780019430 A CN 201780019430A CN 108885802 B CN108885802 B CN 108885802B
- Authority
- CN
- China
- Prior art keywords
- display
- information
- user
- processing apparatus
- information processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 112
- 238000003672 processing method Methods 0.000 title claims abstract description 8
- 238000000034 method Methods 0.000 claims description 114
- 238000012545 processing Methods 0.000 claims description 52
- 230000002093 peripheral effect Effects 0.000 claims description 35
- 238000009877 rendering Methods 0.000 claims description 17
- 230000033001 locomotion Effects 0.000 claims description 14
- 230000008403 visual deficit Effects 0.000 claims description 14
- 238000002834 transmittance Methods 0.000 claims description 10
- 238000005562 fading Methods 0.000 claims description 5
- 238000005286 illumination Methods 0.000 claims description 2
- 238000001514 detection method Methods 0.000 description 33
- 238000010586 diagram Methods 0.000 description 32
- 238000003384 imaging method Methods 0.000 description 28
- 230000000694 effects Effects 0.000 description 18
- 230000006870 function Effects 0.000 description 12
- 238000004891 communication Methods 0.000 description 11
- 230000003287 optical effect Effects 0.000 description 11
- 230000006399 behavior Effects 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 7
- 239000003550 marker Substances 0.000 description 7
- 201000004569 Blindness Diseases 0.000 description 5
- 230000001133 acceleration Effects 0.000 description 5
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 5
- 238000004590 computer program Methods 0.000 description 4
- 230000007257 malfunction Effects 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 230000036772 blood pressure Effects 0.000 description 2
- 230000036760 body temperature Effects 0.000 description 2
- 210000004556 brain Anatomy 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 229910044991 metal oxide Inorganic materials 0.000 description 2
- 150000004706 metal oxides Chemical class 0.000 description 2
- 210000001747 pupil Anatomy 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000011033 desalting Methods 0.000 description 1
- 230000004424 eye movement Effects 0.000 description 1
- 230000004907 flux Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000001771 impaired effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 230000029058 respiratory gaseous exchange Effects 0.000 description 1
- 210000001525 retina Anatomy 0.000 description 1
- 238000012552 review Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B27/0172—Head mounted characterised by optical features
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/02—Viewing or reading apparatus
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/54—Interprogram communication
- G06F9/542—Event management; Broadcasting; Multicasting; Notifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/64—Constructional details of receivers, e.g. cabinets or dust covers
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Optics & Photonics (AREA)
- Multimedia (AREA)
- Software Systems (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Controls And Circuits For Display Device (AREA)
- User Interface Of Digital Computer (AREA)
- Processing Or Creating Images (AREA)
Abstract
[问题]提供信息处理装置、信息处理方法和程序。[解决方案]一种设置有通知控制单元的信息处理装置,在检测到不完全显示的发生时,通知控制单元使用户被通知不完全显示的发生,在不完全显示中,显示对象的区域的至少部分但不是全部被显示在透明显示单元的显示区域中。
Description
技术领域
本公开内容涉及信息处理装置、信息处理方法和程序。
背景技术
使用包括透射显示单元(透视显示器)的装置(例如参见专利文献1和专利文献2)。通过使用透射显示单元,例如可以显示在作为背景的现实空间上叠加的虚拟对象。
引文列表
专利文献
专利文献1:JP 2007-065080A
专利文献2:JP 2010-145859A
发明内容
技术问题
然而,取决于要显示的对象(显示对象)的显示尺寸或显示位置,在某些情况下,发生看不全,其中完整的显示对象未被包含在显示单元的显示区域中。例如,在透射显示单元中发生看不全的情况下,显示对象具有显示对象被中途切断的外观,并且因此存在用户可能感到不适的担忧。
因此,本公开内容提出了一种能够减少由于看不全的发生而引起用户的不适感的新颖并且改进的信息处理装置、新颖并且改进的信息处理方法、以及新颖并且改进的程序。
问题的解决方案
根据本公开内容,提供了一种信息处理装置,包括通知控制单元,通知控制单元被配置成:基于在透射显示单元的显示区域中对看不全的发生的检测,使用户被通知看不全的发生,在看不全中,至少部分区域被显示的完整的显示对象未被包含在显示区域中。
另外,根据本公开内容,提供了一种信息处理方法,包括:基于在透射显示单元的显示区域中对看不全的发生的检测,通过处理器使用户被通知看不全的发生,在看不全中,至少部分区域被显示的完整的显示对象未被包含在显示区域中。
另外,根据本公开内容,提供了一种程序,其中处理器使计算机系统实现:通知控制功能,该通知控制功能基于在透射显示单元的显示区域中对看不全的发生的检测,使用户被通知看不全的发生,在看不全中,至少部分区域被显示的完整的显示对象未被包含在显示区域中。
发明的有益效果
根据上述本公开内容,可以减少由于看不全的发生而引起的用户的不适感。
附图说明
[图1]图1是示出根据本公开内容的第一实施方式的信息处理装置的外观的说明图。
[图2]图2是示出根据实施方式的在发生看不全时用户的视场角的示例的说明图。
[图3]图3是示出根据实施方式的信息处理装置的配置的示例的说明图。
[图4]图4是示出由根据实施方式的显示控制单元显示的边框的示例的说明图。
[图5]图5是示出根据实施方式的显示单元的配置的示例的说明图。
[图6]图6是示出根据实施方式的信息处理装置的操作的示例的说明图。
[图7]图7是示出根据本公开内容的第二实施方式的用于显示控制单元对显示对象执行预定处理的处理模式的示例的说明图。
[图8]图8是示出由根据实施方式的显示控制单元对显示对象执行的预定处理的示例的说明图。
[图9]图9是示出根据实施方式的信息处理装置的操作的示例的说明图。
[图10]图10是示出根据第三实施方式的信息处理装置的配置的示例的说明图。
[图11A]图11A是示出关于由根据实施方式的显示控制单元供应给看不全检测单元的视野角度的信息的说明图。
[图11B]图11B是示出关于由显示控制单元供应给看不全检测单元的视野角度的信息的说明图。
[图12]图12是示出根据实施方式的由显示控制单元显示并且用于通知看不全发生的辅助UI的示例的说明图。
[图13]图13是示出根据实施方式的由显示控制单元显示并且用于通知看不全发生的辅助UI的另一示例的说明图。
[图14]图14是示出根据实施方式的由显示控制单元显示并且用于通知看不全发生的辅助UI的又一示例的说明图。
[图15]图15是示出根据实施方式的信息处理装置的操作的示例的说明图。
[图16]图16是示出实施方式的修改示例的说明图。
[图17]图17是示出根据本公开内容的信息处理装置的硬件配置的示例的说明图。
具体实施方式
在下文中,将参照附图详细描述本公开内容的(a)(一个或多个)优选实施方式。注意,在本说明书和附图中,具有基本相同的功能和结构的结构元件用相同的附图标记表示,并且省略对这些结构元件的重复说明。
注意,在本说明书和附图中,具有基本相同的功能和结构的结构元件有时在相同的附图标记之后使用不同的字母来区分彼此。然而,当不需要特别区分具有基本相同的功能和结构的结构元件时,仅附上相同的附图标记。
注意,将按以下顺序进行描述。
<<1.第一实施方式>>
<1-1.第一实施方式的概述>
<1-2.第一实施方式的配置>
<1-3.第一实施方式的操作>
<1-4.第一实施方式的有益效果>
<<2.第二实施方式>>
<2-1.第二实施方式的概述>
<2-2.第二实施方式的配置>
<2-3.第二实施方式的操作>
<2-4.第二实施方式的有益效果>
<<3.第三实施方式>>
<3-1.第三实施方式的概述>
<3-2.第三实施方式的配置>
<3-3.第三实施方式的操作>
<3-4.第三实施方式的修改示例>
<3-5.第三实施方式的有益效果>
<<4.硬件配置示例>>
<<5.结论>>
<<1.第一实施方式>>
<1-1.第一实施方式的概述>
首先,将参照图1描述根据本公开内容的第一实施方式的信息处理装置的概述。图1是示出根据本公开内容的第一实施方式的信息处理装置的外观的说明图。
如图1所示,根据本公开内容的第一实施方式的信息处理装置1-1是包括成像单元110和显示单元180A和显示单元180B的眼镜式显示装置。
信息处理装置1-1基于通过使成像单元110对现实空间成像而获得的捕获图像来在显示单元180A和显示单元180B的显示区域185A和显示区域185B上显示显示对象。根据实施方式的显示对象可以是例如呈现给用户以与现实空间(现实空间中的对象的图像、描述性文本、导航图标、警示效果等)对应的信息,或者可以是3D对象例如动态移动的游戏角色或固定的建筑物。稍后将描述根据实施方式的显示对象的其他示例。
显示单元180A和显示单元180B具有显示区域185A和显示区域185B,并且显示对象显示在显示区域185A和显示区域185B中。显示单元180A和显示单元180B是透射显示单元(其是透视显示器的示例)。即使在用户佩戴信息处理装置1-1的情况下,用户也可以观看连同显示区域185A和显示区域185B中显示的图像一起的现实空间。例如,显示单元180A和显示单元180B可以具有光穿过显示区域185A和显示区域185B的配置,或者可以具有光进一步穿过除了显示区域185A和显示区域185B之外的区域的配置。注意,在显示对象具有深度的3D模型等的情况下,显示单元180A和显示单元180B分别显示右眼和左眼的图像,使得用户可以感知双眼视差。
取决于显示对象的显示尺寸,看不全(Cutting-off)发生。本公开内容中的看不全是这样的状态:完整的显示对象(其中至少部分区域被显示)未包含在例如透射显示单元的显示区域中(在该实施方式中,为显示单元180A和显示单元180B的显示区域185A和显示区域185B)。图2是示出在发生看不全时用户的视场角(angle of view)的示例的说明图。图2中所示的边界R10指示显示单元180A和显示单元180B中的显示区域185A和显示区域185B的边界(外边缘)。由于显示单元180A和显示单元180B具有高透明度,因此用户难以识别边界R10。
图2中示出的显示对象C10包括:被包含在边界R10的内部部分(显示区域)中并且被显示的可见区域C12;以及未包含在显示区域中并且因此未显示的不可见区域C14、C16和C18。也就是说,由于显示对象C10的部分区域(可见区域C12)显示在显示区域185A和显示区域185B中,而完整的显示对象C10未包含在显示区域185A和显示区域185B中,所以看不全发生。
如图2所示,当看不全发生时,在待显示的边界R10附近,显示对象C10被切割。然而,如上所述,用户难以识别边界R10。因此,当看不全发生时,用户可以看到在没有显示对象C10的地方中途似乎被切割的显示对象C10,并且因此存在用户可能感到不适的担忧。
另外,例如,在显示可能在看到完整的显示对象的情况和看到显示对象的一部分的情况之间具有不同含义的显示对象(例如文本的显示)的情况下,存在以下担忧:由于看不全,用户可能无法正确理解显示对象的含义。
因此,鉴于上述情况创建了实施方式。根据实施方式,通过显示帮助用户识别是否发生看不全的辅助UI,可以减少由于看不全引起的用户的不适感。在下文中,将详细描述用于这种有利效果的实施方式的配置。
<1-2.第一实施方式的配置>
已经描述了根据本公开内容的第一实施方式的信息处理装置1-1的概述。接下来,将参照图3描述根据实施方式的信息处理装置1-1的配置。
图3是示出根据实施方式的信息处理装置1-1的配置的示例的说明图。如图3所示,根据实施方式的信息处理装置1-1包括成像单元110、图像识别单元120、显示控制单元130、存储单元170和显示单元180。
(成像单元)
成像单元110是获取图像的摄像机模块。成像单元110通过使用诸如电荷耦合器件(CCD)或互补金属氧化物半导体(CMOS)的图像传感器对现实空间成像来获取捕获图像。例如,根据实施方式的成像单元110可以具有与佩戴信息处理装置1-1的用户的视场角相同的视野角度(angle of field),或者由成像单元110成像的范围可以被视为用户的视场角。注意,由成像单元110获取的捕获图像被供应给图像识别单元120。
此外,成像单元110可以是包括两个图像传感器并且同时获取两个图像的立体摄像机。在这种情况下,两个图像传感器水平布置。因此,通过立体匹配方法等分析由下面将描述的图像识别单元120获取的多个图像,可以获取现实空间的三维形状信息(深度信息)。
(图像识别单元)
图像识别单元120分析由成像单元110获取的捕获图像,并且识别现实空间的三维形状或现实空间中的对象、标记等。例如,图像识别单元120可以通过对多个同时获取的图像执行立体匹配方法或者对多个按时间顺序获取的图像执行运动结构(SfM)方法等来识别现实空间的三维形状并且获取三维形状信息。此外,图像识别单元120可以通过执行预先准备的特征点信息与从捕获图像检测到的特征点信息之间的匹配来识别现实空间中的对象、标记等并且获取关于对象、标记等的信息。由图像识别单元120获取的前述信息被供应给显示控制单元130。
(显示控制单元)
显示控制单元130控制显示单元180的显示。例如,显示控制单元130基于例如从图像识别单元120供应的现实空间的三维信息、对象信息等来使透射显示单元180显示显示对象。
例如,显示控制单元130可以基于从捕获图像检测到的对象的对象信息(诸如对象的种类、位置等的信息)来显示显示对象。例如,显示控制单元130可以基于对象信息来获取用于描述对象的文本数据,并且可以使用预定字体显示通过将文本数据渲染为显示对象而获得的结果(文本显示)。
注意,显示对象或用于显示显示对象的信息(例如文本数据等)可以被存储在存储单元170中。此外,显示控制单元130可以从存储单元170直接获取显示对象,或者可以基于存储单元170中存储的信息生成(例如渲染)显示对象并且显示该显示对象。
此外,显示控制单元130指定显示对象在空间中的位置(现实空间或虚拟空间中的位置)。
例如,可以基于现实空间中的对象(现实对象)的位置例如增强现实(AR)标记或预定对象来指定空间中的位置。此外,在可以自由移动的诸如游戏角色的显示对象未由现实对象固定的情况下,可以通过应用程序动态地设置(指定)空间中的位置。
注意,显示对象在空间中的位置可以表示为在现实空间或虚拟空间(三维虚拟空间)中设置的坐标系中的坐标值。此外,在这种情况下,用户的位置也可以设置在以这种方式表示空间中的显示对象的位置的坐标系中。例如,用户的位置可以被设置为在现实空间中设置的坐标系中的信息处理装置1-1的坐标值。此外,在空间中的位置被表示为在虚拟空间中设置的坐标系中的坐标值的情况下,用户的位置可以表示为用于在虚拟空间中渲染显示对象的虚拟视点的坐标值。
此外,显示控制单元130从用户的位置以预定的视野角度执行渲染,并且在显示单元180的显示区域中显示显示对象。在此,例如,显示对象在显示区域中的显示尺寸根据用户的位置和显示对象在空间中的位置来决定。
例如,在根据现实对象指定空间的位置的情况下,可以执行显示控制,使得当用户更接近现实对象时显示尺寸增大并且当用户离现实对象更远时显示尺寸减小。在该配置中,用户可以感知与现实对象相关联的显示对象,并且可以更现实地感受到显示对象。
此外,还可以根据用户的位置和显示对象在空间中的位置来决定显示对象在显示区域中的显示位置。
如上所述,基于用户的位置和显示对象在空间中的位置来决定显示尺寸和显示位置。因此,取决于用户的位置和显示对象在空间中的位置,在某些情况下看不全发生。例如,在显示尺寸的高度大于显示区域的高度的情况下,至少在高度方向上看不全发生。
此外,显示控制单元130显示辅助用户界面(UI),用于帮助用户识别看不全是否发生(看不全的发生或不发生)。例如,显示控制单元130可以在显示单元180的显示区域的周边部分中显示待显示的边框作为辅助UI。图4是示出由显示控制单元130显示的边框的示例的说明图。
图4中所示的边框F20是在显示单元180的显示区域的周边部分的外边缘中由显示控制单元130显示为辅助UI的边框。此外,即使在图4中也发生看不全。与参照图2描述的显示对象C10的示例类似,图4中示出的显示对象C20包括:可见区域C22和不可见区域C24、C26和C28。
然而,在图4中,边框F20被显示并且用户感觉到如同用户通过边框F20观看显示了显示对象C20的空间的感觉。因此,即使在看不全发生的情况下,也会减少不适感。此外,因为用户由于边框F20容易识别看不全的发生,所以用户可以理解未显示完整的显示对象C20并且在除了显示区域之外的区域中也存在信息。因此,防止用户误解仅在可见区域C22中的含义。此外,由于边框F20,用户可以容易地理解由于看不全而使显示对象分割的地方和看不全原因(例如显示尺寸在用户的当前位置处相当大等)。因此,例如,用户可以移动以解决看不全。
注意,由显示控制单元130显示的辅助UI不限于上面参照图4描述的示例。例如,由显示控制单元130显示的边框可以是虚线或点线而不是实线,或者可以是在用户可以观看的范围内的浅色、亮度或细线。另外,例如,可以通过显示控制单元130将辅助UI显示成闪烁而非不断地显示。在这种配置中,可以尽可能地不阻碍用户的视觉,并且可以容易地识别看不全的发生。此外,显示控制单元130可以通过显示辅助UI来使用户能够容易地识别看不全的发生,在辅助UI中,完整的显示区域或除了显示对象被显示在显示区域中的区域之外的区域是浅色的。
(存储单元)
存储单元170存储关于显示对象的信息。关于存储单元170中存储的显示对象的信息可以例如包括:3D模型等的渲染信息、图像、效果的显示信息、标记的显示信息、轮廓的显示信息和文本等。
例如,根据实施方式的显示对象可以是具有强调或呈现现实对象或另一显示对象(在下文中在一些情况下统称为对象)的运动的效果的效果显示等。
此外,根据实施方式的显示对象可以是与对象相关联的标记显示。此外,根据实施方式的显示对象可以是指示现实空间或虚拟空间中的行为的路径或样本的导航显示。此外,根据实施方式的显示对象可以是指示叠加在对象上的轮廓或对象的感测结果的对象。
此外,根据实施方式的显示对象可以是指示游戏中的游戏角色、项目、建筑物等的3D对象或图像。此外,显示对象可以是指示根据实施方式的导航或显示对象游戏中的先前历史(例如赛车游戏中的所谓的鬼车)的3D对象或图像。
此外,根据实施方式的显示对象可以是向对象(诸如附近的人)建议关于对象的手册、指示属性信息(名称、速度、属性等)的文本等的对象。注意,该显示对象的显示位置可以是叠加在对象上的位置,或者可以是未叠加在对象上的对象附近的位置。
此外,根据实施方式的显示对象可以是虚拟广告或横幅的对象等,对其而言,空间的任何位置被设置为显示位置。
(显示单元)
显示单元180是显示显示对象的透射(透视)显示器(显示单元)。在下文中,将参照图5描述显示单元180的配置的示例。图5是示出显示单元180的配置的示例的说明图。
如图5所示,根据实施方式的显示单元180包括反射空间光调制单元182、包括取景器透镜等的准直光学系统184以及全息型导光板(波导)186。导光板186包括:在用户的瞳孔22的深度方向上面向彼此的光学表面1862和光学表面1864;以及反射体积全息光栅1866和反射体积全息光栅1868,不管位置如何,其安装在光学表面1864上并且具有全息表面的均匀干涉条纹间距。
如图5所示,在空间光调制单元182调制图像时射出的光被设置为平行光通量组,在平行光通量组中,通过准直光学系统184从光学表面1862入射在导光板186上的视野角度相互不同。入射在导光板186上的光入射在反射体积全息光栅1866上,并且被反射体积全息光栅1866衍射和反射。由反射体积全息光栅1866衍射和反射的光当在导光板186内部在光学表面1862和光学表面1864之间反复全反射时被引导,以朝向反射体积全息光栅1868行进。入射在反射体积全息光栅1868上的光通过衍射反射偏离全反射条件,从导光板186射出并且入射在用户的瞳孔22上。
注意,参照图1描述的显示单元180的显示区域185A和显示区域185B相当于图5所示的导光板186中的反射体积全息光栅1868的区域。
注意,透射显示单元180的配置不限于前述示例。例如,显示单元180可以具有使用半反射镜等显示反射图像的配置,或者可以具有通过将光辐射到用户的视网膜来显示图像的配置。
<1-3.第一实施方式的操作>
已经描述了根据本公开内容的第一实施方式的信息处理装置1-1的配置的示例。接下来,将参照特别针对显示控制单元130的显示控制操作的图6来描述根据实施方式的信息处理装置1-1的操作的示例。图6是用于描述根据实施方式的信息处理装置1-1的操作的示例的流程图。
首先,显示控制单元130在显示单元180的显示区域的外边缘中显示待显示的边框(辅助UI)(S102)。随后,显示控制单元130显示显示对象(S104)。
注意,上述操作是示例性的,并且与根据实施方式的显示控制单元130的显示控制有关的操作不限于前述操作。例如,显示控制单元130可以通过重复执行前述一系列处理(步骤S102至S104)或对象显示处理(步骤S104)根据用户在当前状态下的位置等根据需要使显示对象的显示更新。
<1-4.第一实施方式的有益效果>
上面已经描述了本公开内容的第一实施方式。根据实施方式,通过显示用于帮助用户识别看不全是否发生的辅助UI(例如显示区域的外边缘的边框等),可以减少在发生看不全时用户的不适感。此外,当用户识别出看不全的发生时,用户可以理解完整的显示对象未被显示并且在除了显示区域之外的区域中存在信息。因此,防止用户误解在显示区域中显示的显示对象的仅一部分的含义。此外,用户可以容易地理解由于看不全而使显示对象分割的地方和看不全原因(例如显示尺寸在用户的当前位置处相当大等)。因此,例如,用户可以移动等以查看显示区域之外的信息。
<<2.第二实施方式>>
<2-1.第二实施方式的概述>
在上述第一实施方式中,已经描述了用于帮助用户识别看不全是否发生的辅助UI被显示的示例。另一方面,在下文中,将在第二实施方式中描述用户通过对显示对象执行预定处理来容易地识别看不全是否发生的示例。
在根据第二实施方式的信息处理装置中,通过执行显示控制,使得对显示区域的周边部分中显示的显示对象的区域执行预定处理,可以减少由于看不全的发生而引起的用户的不适感。在下文中,将依次详细描述获得前述有益效果的第二实施方式的配置和操作。
<2-2.第二实施方式的配置>
根据本公开内容的第二实施方式的信息处理装置是眼镜型显示装置,其包括与参照图1和图3描述的根据第一实施方式的信息处理装置1-1类似的透射显示单元。由于根据该实施方式的信息处理装置具有与根据第一实施方式的信息处理装置1-1的部分类似的配置,因此将适当地省略其描述。
根据该实施方式的信息处理装置的外观与参照图1描述的根据第一实施方式的信息处理装置1的外观相同。此外,根据该实施方式的信息处理装置包括成像单元110、图像识别单元120、显示控制单元130、存储单元170和显示单元180,与根据图3所示的第一实施方式的信息处理装置1-1类似。由于根据该实施方式的成像单元110、图像识别单元120、存储单元170和显示单元180的配置与根据第一实施方式的成像单元110、图像识别单元120、存储单元170和显示单元180的配置基本相同,将省略其描述。在下文中,将针对与根据第一实施方式的显示控制单元130的差异来描述根据该实施方式的显示控制单元130。
(显示控制单元)
与根据第一实施方式的显示控制单元130类似,根据该实施方式的显示控制单元130控制显示单元180的显示。
例如,根据该实施方式的显示控制单元130基于例如从图像识别单元120供应的现实空间的三维信息、对象信息等来使透射显示单元180显示显示对象,与根据第一实施方式的显示控制单元130类似。
由于根据该实施方式的关于显示对象的信息的获取、空间中的位置的指定以及显示控制单元130的渲染处理与根据第一实施方式的显示控制单元130的前述各个处理类似,因此本文将省略其描述。
此外,根据该实施方式的显示控制单元130对显示对象执行预定处理,使得用户可以容易地识别看不全的发生或不发生,并且在显示单元180的显示区域中显示经受预定处理的显示对象。在下文中,将参照图7描述由显示控制单元130对显示对象执行的预定处理。
图7是示出根据实施方式的用于显示控制单元130对显示对象执行预定处理的处理模式的示例的说明图。显示控制单元130执行向要在显示单元180的显示区域中显示的显示对象施加图7中所示的处理模式的处理。图7中所示的处理模式是用于执行透射处理的处理模式,在透射处理中执行α淡化(fading)处理使得在具有高亮度的区域中以低透射率显示显示对象,并且在具有低亮度的区域中以高透射率显示显示对象。
图7中示出的周边部分E1是其中显示可以由显示控制单元130控制的显示单元180的显示区域的周边部分。在图7中所示的处理模式中,亮度从周边部分E1的中间向外边缘减小。因此,当通过施加图7中所示的处理模式来执行前述α淡化处理时,显示对象被显示,使得透射率在周边部分E1中从中间向外边缘增加(α淡化)。
图8是示出根据实施方式的显示控制单元130对显示对象执行的预定处理的示例的说明图。在图8中,也发生看不全,并且图8中所示的显示对象C30包括可见区域C32和不可见区域C34、C36和C38,与参照图2描述的显示对象C10的示例类似。
由于显示控制单元130通过对显示对象C30施加图7中所示的处理模式来执行透射处理,因此与图8中所示的边界R30的周边(周边部分)交叠的半透明区域C322、C324和C326(周边区域)被α淡化而被显示。
在该配置中,由于半透明区域C322、C324和C326是α淡化的,因此用户容易识别看不全的发生。因此,用户可以理解完整的显示对象C30未被显示,并且在除了显示区域之外的区域中也存在信息。因此,防止了用户误解仅在可见区域C32中的含义。此外,因为半透明区域C322、C324和C326,用户可以容易地理解由于看不全而使显示对象被分割的地方和看不全原因(例如显示尺寸在用户的当前位置处相当大等)。因此,例如,用户可以理解用户可以移动以解决看不全。
例如,当指定要由显示控制单元130显示的显示对象并且执行渲染时,可以执行α淡化处理。
注意,由显示控制单元130执行的预定处理不限于使用图7的处理模式执行的α淡化处理。例如,显示控制单元130可以使用具有圆形形状或椭圆形形状(例如高斯分布形状)的处理模式来执行α淡化处理,以执行增加远离处理模式的中间的透射率的处理。此外,显示控制单元130可以通过执行使渲染显示对象的方法在显示区域的周边部分中不同的处理来帮助用户识别看不全的发生。例如,显示控制单元130可以在显示区域的周边部分中执行线框渲染,并且可以在除了周边部分之外的区域中执行多边形渲染。
<2-3.第二实施方式的操作>
已经描述了根据本公开内容的第二实施方式的信息处理装置的配置的示例。接下来,将参照特别针对显示控制单元130的显示控制操作的图9描述根据该实施方式的信息处理装置的操作的示例。图9是用于描述根据实施方式的信息处理装置的操作的示例的流程图。
首先,显示控制单元130在渲染显示对象时使用参照图7描述的处理模式对显示区域的周边部分执行α淡化处理(S202)。随后,显示控制单元130使显示单元180显示经过α淡化处理的显示对象(S204)。
注意,上述操作是示例性的,并且与根据实施方式的显示控制单元130的显示控制有关的操作不限于前述操作。例如,显示控制单元130可以通过重复执行前述一系列处理(步骤S202至S204)根据用户在当前状态下的位置等根据需要来使显示对象的显示更新。
<2-4.第二实施方式的有益效果>
上面已经描述了本公开内容的第二实施方式。根据该实施方式,通过对显示对象执行预定处理,可以帮助用户识别看不全是否发生,并且因此减少在发生看不全时用户的不适感。此外,当用户识别出看不全的发生时,用户可以理解完整的显示对象未被显示,并且在除了显示区域之外的区域中存在信息。因此,防止了用户误解在显示区域中显示的显示对象的仅一部分的含义。此外,用户可以容易地理解由于看不全而使显示对象被分割的地方和看不全原因(例如,显示尺寸在用户的当前位置处相当大等)。因此,例如,用户可以移动等以查看显示区域之外的信息。
<<3.第三实施方式>>
<3-1.第三实施方式的概述>
在上述第一实施方式和第二实施方式中,已经描述了无论看不全是否发生都执行帮助用户识别看不全的发生或不发生的处理(辅助UI的显示或预定处理)的示例。另一方面,在第三实施方式中将描述如下示例:基于关于用户的信息、关于显示对象的信息、关于环境的信息等来决定发生看不全的通知方法,以及在检测到看不全的发生的情况下执行预定处理或者辅助UI的输出。
在根据第三实施方式的信息处理装置中,通过在检测到看不全的发生的情况下显示辅助UI或执行预定处理,可以减少由于看不全的发生而引起的用户的不适感,而在没有发生看不全的情况下不会妨碍用户的视觉。在下文中,将依次详细描述获得前述有益效果的第三实施方式的配置和操作。
<3-2.第三实施方式的配置>
根据本公开内容的第三实施方式的信息处理装置是眼镜型显示装置,该眼镜型显示装置包括与参照图1和图3描述的根据第一实施方式的信息处理装置类似的透射显示单元。首先,根据该实施方式的信息处理装置的外观类似于参照图1描述的根据第一实施方式的信息处理装置1的外观。此外,由于根据该实施方式的信息处理装置具有与根据第一实施方式的信息处理装置1-1和根据第二实施方式的信息处理装置的部分类似的配置,因此将适当地省略其描述。
图10是示出根据该实施方式的信息处理装置1-3的配置的示例的说明图。如图10所示,根据该实施方式的信息处理装置1-3包括成像单元110、图像识别单元320、显示控制单元330、看不全检测单元340、传感器单元350、通知方法确定单元360、存储单元170和显示单元180。由于根据该实施方式的成像单元110、存储单元170和显示单元180的配置与根据第一实施方式的成像单元110、存储单元170和显示单元180的配置基本相同,因此将省略其描述。在下文中,将针对根据该实施方式的特定配置来描述根据该实施方式的信息处理装置1-3。
(图像识别单元)
与参照图3描述的图像识别单元120类似,根据该实施方式的图像识别单元320分析由成像单元110获取的捕获图像,并且识别现实空间的三维形状或现实空间中的对象、标记等。关于由图像识别单元320获取的三维形状的信息或关于现实空间中的对象或标记的信息被供应给显示控制单元330和通知方法确定单元360。
(显示控制单元)
与根据第一实施方式的显示控制单元130类似,根据该实施方式的显示控制单元330控制透射显示单元180的显示。
例如,与根据第一实施方式的显示控制单元130类似,根据该实施方式的显示控制单元130基于例如从图像识别单元320供应的现实空间的三维信息、对象信息等来使透射显示单元180显示显示对象。
由于根据该实施方式的对关于显示对象的信息的获取、对空间中的位置的指定以及显示控制单元330的渲染处理与根据第一实施方式的显示控制单元130的前述各个处理类似,因此本文将省略其描述。
此外,显示控制单元330将关于显示对象的渲染中的视野角度的信息供应给看不全检测单元340。图11A和图11B是示出关于由显示控制单元330供应给看不全检测单元340的视野角度的信息的说明图。
图11A中所示的视野角度范围R40指示以下范围,在该范围中,等于视野角度θ的区域从在三维空间中执行渲染的视点V被投影到显示对象的显示表面P。此外,图11B示出显示表面P上的显示对象C40与视野角度范围R40之间的关系。关于视野角度范围R40和显示对象C40的信息从显示控制单元330供应给看不全检测单元340。注意,视野角度范围R40对应于显示单元180上的显示区域。
此外,显示控制单元330具有通知控制单元的功能,该通知控制单元基于对看不全的发生的检测而使用户被通知看不全的发生,在看不全中,至少部分区域被显示的完整的显示对象未被包含在显示区域中,并且所述检测由下面将描述的看不全检测单元340执行。
例如,作为通知控制单元,显示控制单元330可以在由将在下面描述的看不全检测单元340检测到看不全的发生的情况下使用户被通知看不全的发生。在该配置中,在没有发生看不全的情况下,用户可能不一定识别出看不全。因此,减少了妨碍用户的视觉等的担忧。
此外,显示控制单元330根据显示对象和显示区域之间的布置关系来执行通知控制。稍后将描述根据显示对象和显示区域之间的布置关系的通知控制的示例。
此外,显示控制单元330可以根据由通知方法确定单元360决定的通知方法使用户被通知看不全的发生。注意,稍后将描述通知方法确定单元360对通知方法的决定。
例如,显示控制单元330可以基于通知方法确定单元360对通知方法的决定通过在第一实施方式中描述的显示单元上显示辅助UI(辅助信息)来使用户被通知看不全的发生。
例如,如第一实施方式中描述的,可以通过在显示区域的周边部分中显示边框来向用户通知辅助UI(辅助信息)。在该配置中,如第一实施方式中描述的,用户可以感觉到如同用户通过边框窥视显示了显示对象的空间并且可以理解看不全的发生或发生原因。因此,即使在看不全发生的情况下,也会减少不适感。
此外,在第一实施方式中,已经描述了未检测到看不全发生的示例。然而,在本实施方式中,由于检测到看不全的发生,因此可以基于对看不全的发生的检测来使用比第一实施方式中更多的各种辅助UI。在下文中,将参照图12至图14描述由显示控制单元330显示并且用于在检测到看不全发生的情况下通知看不全发生的辅助UI的示例。
图12是示出由显示控制单元330使其显示并且用于通知看不全发生的辅助UI的示例的说明图。即使在图12中,看不全也发生并且图12中所示的显示对象C50也包括在边界R50内显示的可见区域C52和未在边界R50内显示的不可见区域C54、C56和C58,与参照图2描述的显示对象C10的示例类似。
图12中所示的文本显示U50是指示显示对象C50被包含在显示区域(边界R50内)的程度的辅助UI(辅助信息)。也就是说,在图12的示例中,显示控制单元330演示通知控制单元的功能,并且将文本显示U50显示为指示显示对象被包含在显示区域中的程度的信息,以使用户被通知文本显示U50。在该配置中,用户可以理解显示区域中包含多少显示对象。
图13是示出由显示控制单元330使其显示并且用于通知看不全发生的辅助UI的另一示例的说明图。即使在图13中,看不全也发生并且图13中所示的显示对象C60也包括在显示区域的边界R60内显示的可见区域C62和未在边界R60内显示的不可见区域C64、C66和C68,与参照图2描述的显示对象C10的示例类似。
图13中所示的线段U62和线段U64是指示显示区域的周边部分的侧部的辅助UI,在该侧部上在显示对象C60中发生看不全。也就是说,在图13的示例中,通过在显示区域的周边部分的侧部上显示线段来向用户通知辅助UI(辅助信息),该侧部包含与显示对象交叠的区域。在该配置中,用户可以更容易地理解看不全发生的地方。注意,在图13中的上述示例中,显示的线段根据显示对象和显示区域之间的布置关系而不同。因此,图13的上述示例也是显示控制单元330根据显示对象和显示区域之间的布置关系执行的通知控制的示例。
图14是示出由显示控制单元330使其显示并且用于通知看不全发生的辅助UI的另一示例的说明图。即使在图14中,看不全也发生并且图14中示出的显示对象C70也包括在显示区域的边界R70内显示的可见区域C72和未在边界R70内显示的不可见区域C74、C76和C78,与参照图2描述的显示对象C10的示例类似。
图14中所示的缩小对象U70是通过在显示区域中缩小和显示显示对象C70来指示完整的显示对象C70的辅助UI(辅助信息)。在该配置中,即使在看不全发生的情况下,用户也可以识别看不全的发生并且理解完整的显示对象的概况。注意,在可以在不缩小显示对象的情况下显示完整的显示对象的情况下(例如,尽管显示尺寸落在显示区域中,但是看不全仍取决于显示位置而发生),未缩小的显示对象可以被显示为指示完整的显示对象的辅助UI。
注意,在检测到看不全发生的情况下,根据实施方式由显示控制单元330使其显示并且用于通知看不全发生的辅助UI不限于前述示例。例如,显示控制单元330可以显示以下辅助UI,其中完整的显示区域或除了在显示区域中显示显示对象的区域之外的区域是浅色的。此外,显示控制单元330可以组合并显示上述多个辅助UI的示例。
此外,如第二实施方式中描述的,显示控制单元330可以基于通知方法确定单元360对通知方法的决定通过在显示区域中显示经过预定处理的显示对象来使用户被通知看不全的发生。
例如,如第二实施方式中描述的,可以对显示对象中的与显示区域的周边部分交叠的周边区域执行预定处理。例如,如第二实施方式中描述的,预定处理可以是改变显示对象中的周边区域中的透射率(使透射率与其他区域不同)的处理。
注意,根据实施方式的由显示控制单元330执行的预定处理不限于前述示例。例如,预定处理可以是改变周边区域中的渲染方法、颜色、纹理、透射率和图案中的至少一个的处理。此外,周边区域的预定处理可以是以下处理:通过改变渲染方法、颜色、纹理、透射率和图案中的至少一个来进一步降低周边区域的可见性而不是显示对象的除了周边区域以外的区域的可见性。在该配置中,可以使用户识别看不全的发生和看不全发生的发生地方。
此外,预定处理可以是淡出完整的显示对象而随后不显示显示对象的处理。
(看不全检测单元)
图10中所示的看不全检测单元340基于从显示控制单元330供应的关于视野角度的信息来检测看不全的发生。
根据该实施方式的看不全检测单元340基于参照图11B描述的关于显示对象C40的信息和视野角度范围R40来检测看不全的发生。例如,看不全检测单元340可以在显示对象C40没有落入视野角度范围R40的情况下检测到看不全的发生。
在检测到看不全发生的情况下,看不全检测单元340将检测结果(对看不全发生的检测)供应给显示控制单元330。
(传感器单元)
图10中示出的传感器单元350感测用户或用户附近的环境以获取关于用户的信息和关于环境的信息。例如,传感器单元350可以包括各种传感器例如麦克风、全球定位系统(GPS)传感器、加速度传感器、视觉(视线、注视点、焦点、眨眼等)传感器、生物信息(心率、体温、血压、脑波等)传感器、陀螺仪传感器和照度传感器。此外,传感器单元350将所获取的关于用户的信息和关于环境的信息供应给通知方法确定单元360。
(通知方法确定单元)
通知方法确定单元360决定(确定)用于看不全的发生的通知方法。例如,通知方法确定单元360可以基于关于用户的信息、关于显示对象的信息或关于环境的信息来决定(确定)用于看不全的发生的通知方法。
在此,关于用户的信息可以包括例如指示用户的行为的行为信息、指示用户的运动的运动信息、生物信息、注视信息等。行为信息例如是指示用户在停止、行走、跑步、驾驶机动车、踩踏楼梯等期间的当前行为的信息,并且可以从传感器信息等(例如由传感器单元350获取的加速度)中识别和获取。此外,运动信息是诸如移动速度、移动方向、移动加速度或接近内容位置的信息,并且可以从传感器信息等(例如GPS数据或由传感器单元350获取的加速度)中识别和获取。此外,生物信息是诸如用户的心率、体温排汗、血压、脉搏率、呼吸、眨眼、眼球运动或脑波的信息,并且可以由传感器单元350获取。此外,注视信息是关于用户注视的信息,例如视线、注视点、焦点或者两眼的会聚,并且可以由传感器单元350获取。
此外,关于显示对象的信息可以例如包括诸如显示对象的显示位置、显示对象的位置、颜色、动画特性或显示对象的属性的信息。显示位置可以是显示对象在显示单元180上显示的位置。此外,关于颜色的信息可以是关于显示对象的颜色的信息。此外,关于动画特性的信息可以例如是诸如显示对象的移动速度、移动方向、轨迹或更新频率(运动的频率)的信息。关于显示对象的属性的信息可以例如是诸如显示对象的种类(文本显示、图像、游戏角色、效果等)、重要性或优先级的信息。关于显示对象的上述信息可以存储在例如存储单元170中,并且可以经由显示控制单元330供应给通知方法确定单元360,或者可以由显示控制单元330计算并且可以被供应给通知方法确定单元360。
此外,关于环境的信息可以例如包括诸如背景、周边情况、地点、照度、高度、大气温度、风向、风量和时间的信息。关于背景的信息可以例如是诸如现实空间等中的背景的颜色(背景颜色)、背景中的信息的种类或重要性的信息,可以由成像单元110获取,或者可以由图像识别单元320识别和获取。此外,关于周边情况的信息可以是指示除了用户或机动车之外的人是否在周边的信息,可以是诸如拥挤程度等的信息,或者可以由图像识别单元320识别和获取。此外,关于地点的信息可以是例如指示用户所在地点的特征等的信息,例如室内、室外、水下或危险场所,或者可以是指示用户的地点的含义的信息,例如住宅、公司、熟悉的地点或用户第一次访问的地点。关于地点的信息可以由传感器单元350获取,或者可以由图像识别单元320识别和获取。此外,关于照度、高度、大气温度、风向、风量和时间(例如GPS时间)的信息可以由传感器单元350获取。
在下文中,将给出几个示例来描述通知方法确定单元360基于上述关于用户的信息、关于显示对象的信息或关于环境的信息对通知方法的决定。
例如,在显示对象是在现实空间中的对象上叠加并显示使得现实对象看起来像另一个对象的显示对象的情况下,当对显示对象执行预定处理(α淡化等)时,存在原始目的(现实对象看起来像另一个对象)没有实现的担忧。因此,通知方法确定单元360可以基于指示显示对象是叠加并显示在现实空间中的对象上的显示对象的信息来将辅助UI的显示决定为通知方法。
此外,在向用户清楚地表达看不全发生的情况下,通知方法确定单元360可以将辅助UI的显示决定为通知方法。
例如,在显示对象是文本显示的情况下,存在用户识别错误信息的担忧,除非使用户识别出看不全的发生。因此,通知方法确定单元360可以基于关于显示对象是文本显示的显示对象的属性的信息来将辅助UI的显示决定为通知方法。
此外,即使在根据现实空间中的对象的尺寸显示显示对象的情况下,也存在用户没有意识到显示对象根据现实空间中的对象的尺寸来显示的担忧,除非使用户识别出发生看不全。因此,通知方法确定单元360可以基于关于前述显示对象的信息和关于现实空间的信息(关于环境的信息)来将辅助UI的显示决定为通知方法。
此外,即使在要将用户的视线引导到除显示区域之外的区域的情况下,优选地使用户被明确地通知看不全的发生。因此,在可以确定用户的视线被引导到除显示区域之外的区域的情况下,通知方法确定单元360可以基于生物信息或关于用户的注视信息、关于环境的信息等来将辅助UI的显示决定为通知方法。
此外,在用户的焦点没有形成在显示对象上(焦点外)或者用户没有注视显示对象的情况下,优选地在不妨碍用户的视觉的情况下建议发生看不全。因此,通知方法确定单元360可以基于关于用户的注视信息将预定处理决定为通知方法。
此外,类似地,即使在用户的运动或视线的移动较大的情况下,优选地在不妨碍用户的视觉的情况下建议发生看不全。因此,通知方法确定单元360可以基于关于用户的运动(加速度等)或注视信息来将预定处理决定为通知方法。
此外,在显示对象是用于呈现世界观(view of the world)的对象(呈现氛围)的情况下,在一些情况下可以允许不连续显示或模糊轮廓显示。因此,在显示对象是前述对象的情况下,通知方法确定单元360可以基于关于显示对象的属性的信息来将预定处理决定为通知方法。
此外,在显示对象是用于执行列表显示、平铺式显示等的对象的情况下,即使在一些情况下对边界执行α淡化处理等时,也不会损坏功能或含义。因此,在显示对象是前述对象的情况下,通知方法确定单元360可以基于关于显示对象的属性的信息来将预定处理决定为通知方法。
已经描述了通知方法确定单元360对通知方法的决定的示例,但是通知方法确定单元360对通知方法的决定不限于前述示例。可以通过组合例如上述关于用户的信息、关于显示对象的信息、关于环境的信息等根据各种方法来决定通知方法。
<3-3.第三实施方式的操作>
已经描述了根据本公开内容的第三实施方式的信息处理装置的配置的示例。接下来,将参照特别针对与显示控制单元330、看不全检测单元340、通知方法确定单元360等的显示控制有关的操作的图17来描述根据该实施方式的信息处理装置的操作的示例。图15是用于描述根据实施方式的信息处理装置的操作的示例的流程图。
首先,看不全检测单元340基于从显示控制单元330供应的关于视野角度的信息来检测看不全的发生(S304)。在未检测到看不全的发生的情况下(S304中的否),显示未经过预定处理的显示对象(S310)。
相反,在检测到看不全的发生的情况下(S304中的是),通知方法确定单元360决定通知方法(S306)。在通知方法确定单元360将辅助UI的显示决定为通知方法的情况下(S306中的是),显示控制单元330使显示单元180显示辅助UI和未经过预定处理的显示对象(S308和S310)。
相反,在通知方法确定单元360将预定处理决定为通知方法的情况下(S306中的否),显示控制单元330对显示控制单元执行预定处理并且使显示单元180显示经过预定处理的显示对象(S312)。
注意,上述操作是示例性的,并且与根据实施方式的显示控制单元330的显示控制相关的操作不限于前述操作。例如,显示控制单元330可以通过重复执行上述一系列处理来根据用户在当前状态下的位置等频繁地更新显示对象的显示(步骤S304至S312)。
<3-4.第三实施方式的修改示例>
上面已经描述了本公开内容的第三实施方式。在下文中,将描述该实施方式的若干修改示例。注意,下面将描述的每个修改示例可以单独应用于该实施方式,或者可以组合应用于该实施方式。此外,每个修改示例可以被应用来替代实施方式中描述的配置,或者可以另外应用于实施方式中描述的配置。
(修改示例1)
在前述实施方式中,已经描述了通过显示控制单元330在显示单元180上显示用于通知看不全发生的辅助UI(辅助信息)以通知用户的示例,但是实施方式不限于该示例。
例如,辅助UI可以不显示在显示单元180上,而是可以通过振动、照度(LED的发光等)、声音等输出。例如,根据实施方式的信息处理装置还可以包括输出振动、照度和声音中的至少一个的输出单元。此外,根据实施方式的信息处理装置还可以包括通知控制单元,该通知控制单元根据包括振动、照度和声音中的至少一个的方法使用户被通知看不全的发生。
在该配置中,可以在不改变显示单元180的显示的情况下向用户通知看不全的发生。
(修改示例2)
在前述实施方式中,已经描述了看不全检测单元340基于显示对象是否落入视野角度范围来检测看不全的发生的示例,但是实施方式不限于该示例。
例如,在显示对象的预定区域的部分区域未被包含在显示区域中的情况下,看不全检测单元可以检测看不全的发生。在这种情况下,显示控制单元330可以演示通知控制单元的功能并且向用户通知看不全的发生。
图16是示出根据修改示例的看不全发生的检测的说明图。为了显示图16中所示的完整的显示对象C80,例如,视野角度范围必须包括与区域R80类似的完整的显示对象C80。然而,在视野角度范围包括完整的预设区域R82的情况下,根据修改示例的看不全检测单元可以不检测看不全的发生,而不管视野角度不包括完整的显示对象C80的情况。此外,根据修改示例的看不全检测单元可以在区域R82落入视野角度范围的情况下检测看不全的发生。例如,预定区域R82可以被设置成使得区域R82包含显示对象C80的重要区域。在该配置中,仅在显示对象中的重要区域中发生看不全的情况下检测看不全的发生。
<3-5.第三实施方式的有益效果>
上面已经描述了本公开内容的第二实施方式。根据该实施方式,在检测到看不全的发生的情况下,显示辅助UI或执行预定处理,并且因此可以在没有发生看不全的情况下减少由于发生看不全引起的用户的不适感而不妨碍用户的视觉。此外,当用户识别出看不全的发生时,用户可以理解完整的显示对象未被显示并且在除了显示区域之外的区域中存在信息。因此,防止了用户误解在显示区域中显示的显示对象的仅一部分的含义。此外,用户可以容易地理解由于看不全而使显示对象被分割的地方和看不全的原因(例如,显示尺寸在用户的当前位置处相当大等)。因此,例如,用户可以移动等以查看显示区域之外的信息。
<<4.硬件配置示例>>
到此为止,已经描述了本公开内容的每个实施方式。通过下面描述的信息处理装置1的硬件和软件的协作来实现诸如上述显示控制处理(通知控制处理)、看不全发生检测处理和通知方法确定处理的信息处理。
图17是示出信息处理装置1的硬件配置的示例的说明图。如图17所示,信息处理装置1包括中央处理单元(CPU)11、只读存储器(ROM)12、随机存取存储器(RAM)13、输入装置14、输出装置15、存储装置16、成像装置17和通信装置18。
CPU 11用作操作处理装置和控制装置,并且根据各种程序控制信息处理装置1中的整体操作。CPU 11也可以是微处理器。ROM 12存储CPU11所使用的程序、操作参数等。RAM13临时存储在CPU 11的执行中使用的程序、在该执行中适当改变的参数等。它们通过包括CPU总线等的主机总线连接在一起。主要通过与CPU 11、ROM 12和RAM 13协同工作的软件来实现根据第三实施方式的修改示例1的图像识别单元120和320、显示控制单元130和330、看不全检测单元340、通知方法确定单元360、通知控制单元等的功能。
输入装置14包括:供用户输入信息的输入装置例如鼠标、键盘、触摸板、按钮、麦克风、开关和控制杆;以及基于用户的输入生成输入信号并且将生成的输入信号输出到CPU11的输入控制电路等。通过操作输入装置14,信息处理装置1的用户能够输入关于信息处理装置1的各种数据和直接处理操作。
例如,输出装置15包括诸如液晶显示(LCD)装置、OLED装置和灯的显示装置。此外,输出装置15包括诸如扬声器和耳机的语音输出装置。例如,显示装置显示捕获的图像、生成的图像等。另一方面,语音输出装置将语音数据等转换为语音,并且然后输出语音。输出装置15对应于参照图3描述的显示单元180和根据第三实施方式的修改示例1的输出单元。
存储装置16是用于存储数据的装置。存储装置16可以包括存储介质、将数据存储在存储介质中的记录装置、从存储介质读出数据的读出装置、删除记录在存储介质中的数据的删除装置等。存储装置16存储由CPU 11执行的程序和各种数据。存储装置16对应于参照图3描述的存储单元170。
成像装置17包括成像光学系统例如收集光的拍摄镜头和变焦镜头;以及信号转换装置例如电荷耦合器件(CCD)和互补金属氧化物半导体(CMOS)。成像光学系统收集从对象发射的光以在信号转换单元处形成对象图像,并且信号转换装置将形成的对象图像转换为电图像信号。成像装置17对应于参照图3描述的成像单元110。
通信装置18是包括例如用于连接到通信网络的通信装置等的通信接口。此外,通信装置18可以是兼容无线局域网(LAN)的通信装置、兼容长期演进(LTE)的通信装置、经由有线执行通信的有线通信装置或者蓝牙通信装置。
<<5.结论>>
如上所述,根据本公开内容的每个实施方式,可以减少由于看不全的发生而引起的用户的不适感。
以上已经参照附图描述了本公开内容的(一个或多个)优选实施方式,而本公开内容不限于上述示例。本领域技术人员可以在所附权利要求的范围内找到各种改变和修改,并且应该理解,这些改变和修改将自然地落入本公开内容的技术范围内。
例如,在前述实施方式中,已经描述了在眼镜型显示装置上显示显示对象的示例,但是本技术不限于该示例。例如,本技术可以应用于在机动车等的风挡上显示图像的透射平视显示器,或者本技术可以应用于透射或安装的显示装置。
此外,在前述实施方式中,已经描述了执行显示控制(通知控制)的信息处理装置包括显示单元的示例,但是本技术不限于该示例。例如,执行显示控制(通知控制)的信息处理装置和包括显示单元的显示装置可以是不同的装置。
此外,在前述实施方式中,已经描述了执行显示控制(通知控制)的信息处理装置包括成像单元、图像识别单元、存储单元等的示例,但是本技术不限于该示例。例如,执行显示控制(通知控制)的信息处理装置可以从另一装置直接接收或经由网络等接收关于显示对象等的信息或捕获的图像或图像识别结果,并且可以执行显示控制(显示控制)。
此外,在前述第三实施方式中,已经描述了根据预定处理(对周边部分的α淡化处理等)或辅助UI的输出向用户通知看不全的发生的示例,但是本技术不限于该示例。例如,可以通过组合预定处理(对周边部分的α淡化处理等)和辅助UI的输出两者来向用户通知看不全的发生。
此外,上述实施方式中的各个步骤不一定必须按照流程图中所示的顺序按时间顺序执行。例如,上述实施方式的处理中的各个步骤也可以以与流程图中所示的顺序不同的顺序执行,或者它们可以并行执行。
此外,还可以创建用于使诸如内置在信息处理装置1中的CPU、ROM、RAM等的硬件演示上述信息处理装置1的功能的计算机程序。此外,还提供了其中存储有计算机程序的存储介质。此外,执行计算机程序的计算机的数目不受特别限制。例如,计算机程序可以由多个计算机(例如多个服务器等)协作执行。注意,单个计算机或协作的多个计算机被称为“计算机系统”。
此外,本说明书中描述的效果仅仅是说明性的或示例性的效果,并不是限制性的。也就是说,利用或替代上述效果,根据本公开内容的技术可以根据本说明书的描述来实现本领域技术人员清楚的其他效果。
另外,本技术还可以如下配置。
(1)一种信息处理装置,包括:
通知控制单元,其被配置成:基于在透射显示单元的显示区域中对看不全的发生的检测,使用户被通知所述看不全的发生,在所述看不全中,至少部分区域被显示的完整的显示对象不被包含在所述显示区域中。
(2)根据(1)所述的信息处理装置,其中,在检测到所述看不全的发生的情况下,所述通知控制单元使所述用户被通知所述看不全的发生。
(3)根据(1)或(2)所述的信息处理装置,其中,所述通知控制单元根据所述显示对象与所述显示区域之间的位置关系来执行通知控制。
(4)根据(1)至(3)中任一项所述的信息处理装置,其中,通过使所述显示单元显示辅助信息来向所述用户通知所述看不全的发生。
(5)根据(4)所述的信息处理装置,其中,通过在所述显示区域的周边部分中显示边框来向所述用户通知所述辅助信息。
(6)根据(4)所述的信息处理装置,其中,通过在所述显示区域的周边部分的侧部中显示线段来向所述用户通知所述辅助信息,所述侧部包含与所述显示对象交叠的区域。
(7)根据(4)所述的信息处理装置,其中,所述辅助信息指示完整的所述显示对象。
(8)根据(4)所述的信息处理装置,其中,所述辅助信息是指示所述显示对象被包含在所述显示区域中的程度的信息。
(9)根据(1)至(8)中任一项所述的信息处理装置,其中,通过在所述显示区域中显示经过预定处理的显示对象来向所述用户通知所述看不全的发生。
(10)根据(9)所述的信息处理装置,其中,对所述显示对象中的与所述显示区域的周边部分交叠的周边区域执行所述预定处理。
(11)根据(10)所述的信息处理装置,其中,所述预定处理是改变所述周边区域中的渲染方法、颜色、亮度和透射率中的至少一个的处理。
(12)根据(9)所述的信息处理装置,其中,所述预定处理包括使所述显示对象淡出。
(13)根据(1)至(12)中任一项所述的信息处理装置,其中,根据包括振动、照明和声音中的至少一个的方法来向所述用户通知所述看不全的发生。
(14)根据(1)至(13)中任一项所述的信息处理装置,其中,在所述显示对象的预定区域中的部分区域未被包含在所述显示区域中的情况下,所述通知控制单元使所述用户被通知所述看不全的发生。
(15)根据(1)至(14)中任一项所述的信息处理装置,还包括:
通知方法确定单元,其被配置成基于关于所述用户的信息、关于所述显示对象的信息和关于环境的信息中的至少一个来确定用于所述看不全的发生的通知方法。
(16)根据(15)所述的信息处理装置,其中,关于所述用户的信息包括以下项中的至少一个:指示所述用户的行为的行为信息、指示所述用户的运动的运动信息、生物信息和注视信息。
(17)根据(15)或(16)所述的信息处理装置,其中,关于所述显示对象的信息包括所述显示对象的属性、颜色和显示位置中的至少一个。
(18)根据(15)至(17)中任一项所述的信息处理装置,其中,关于环境的信息包括背景、照度和地点中的至少一个。
(19)一种信息处理方法,包括:
基于在透射显示单元的显示区域中对看不全的发生的检测,通过处理器使用户被通知所述看不全的发生,在所述看不全中,至少部分区域被显示的完整的显示对象未被包含在所述显示区域中。
(20)一种程序,所述程序使计算机系统实现:
通知控制功能,所述通知控制功能基于在透射显示单元的显示区域中对看不全的发生的检测使用户被通知所述看不全的发生,在所述看不全中,至少部分区域被显示的完整的显示对象未被包含在所述显示区域中。
附图标记列表
1 信息处理装置
110 成像单元
120 图像识别单元
130 显示控制单元
170 存储单元
180 显示单元
182 空间光调制单元
184 准直光学系统
185A、185B 显示区域
186 导光板
320 图像识别单元
330 显示控制单元
340 看不全检测单元
350 传感器单元
360 通知方法确定单元
Claims (18)
1.一种信息处理装置,包括:
透射显示单元,其被配置成:在所述透射显示单元的显示区域中显示显示对象;
通知控制单元,其被配置成:检测看不全的发生,并且通知用户所述显示区域中的看不全的发生,其中,在至少部分区域被显示的完整的显示对象未被包含在所述显示区域中时,看不全发生;以及
通知方法确定单元,其被配置成基于关于所述用户的信息来确定用于所述看不全的发生的通知方法,
其中,关于所述用户的信息包括以下项中的至少一个:指示所述用户的行为的行为信息、指示所述用户的运动的运动信息、生物信息和注视信息。
2.根据权利要求1所述的信息处理装置,其中,所述通知控制单元根据所述显示对象与所述显示区域之间的布置关系来执行通知控制。
3.根据权利要求1所述的信息处理装置,其中,通过使所述显示单元显示辅助信息来向所述用户通知所述看不全的发生。
4.根据权利要求3所述的信息处理装置,其中,通过在所述显示区域的周边部分中显示边框来向所述用户通知所述辅助信息。
5.根据权利要求3所述的信息处理装置,其中,通过在所述显示区域的周边部分的侧部中显示线段来向所述用户通知所述辅助信息,所述侧部包含与所述显示对象交叠的区域。
6.根据权利要求3所述的信息处理装置,其中,所述辅助信息指示完整的所述显示对象。
7.根据权利要求3所述的信息处理装置,其中,所述辅助信息是指示所述显示对象被包含在所述显示区域中的程度的信息。
8.根据权利要求1所述的信息处理装置,其中,通过在所述显示区域中显示经过预定处理的显示对象来向所述用户通知所述看不全的发生。
9.根据权利要求8所述的信息处理装置,其中,对所述显示对象中的与所述显示区域的周边部分交叠的周边区域执行所述预定处理。
10.根据权利要求9所述的信息处理装置,其中,所述预定处理是改变所述周边区域中的渲染方法、颜色、亮度和透射率中的至少一个的处理。
11.根据权利要求8所述的信息处理装置,其中,所述预定处理包括使所述显示对象淡出。
12.根据权利要求1所述的信息处理装置,其中,根据包括振动、照明和声音中的至少一个的方法来向所述用户通知所述看不全的发生。
13.根据权利要求1所述的信息处理装置,其中,在所述显示对象的预定区域中的部分区域未被包含在所述显示区域中的情况下,所述通知控制单元使所述用户被通知所述看不全的发生。
14.根据权利要求1所述的信息处理装置,其中,
所述通知方法确定单元还被配置成基于关于所述显示对象的信息和关于环境的信息中的至少一个来确定用于所述看不全的发生的通知方法。
15.根据权利要求14所述的信息处理装置,其中,关于所述显示对象的信息包括所述显示对象的属性、颜色和显示位置中的至少一个。
16.根据权利要求14所述的信息处理装置,其中,关于环境的信息包括背景、照度和地点中的至少一个。
17.一种信息处理方法,包括:
在透射显示单元的显示区域中显示显示对象;
检测看不全的发生,并且通知用户所述显示区域中的看不全的发生,其中,在至少部分区域被显示的完整的显示对象未被包含在所述显示区域中时,看不全发生;以及
基于关于所述用户的信息来确定用于所述看不全的发生的通知方法,
其中,关于所述用户的信息包括以下项中的至少一个:指示所述用户的行为的行为信息、指示所述用户的运动的运动信息、生物信息和注视信息。
18.一种计算机存储介质,其上存储有包括指令的程序,所述指令在由计算机执行时使所述计算机执行根据权利要求17所述的方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016-066631 | 2016-03-29 | ||
JP2016066631 | 2016-03-29 | ||
PCT/JP2017/002223 WO2017169001A1 (ja) | 2016-03-29 | 2017-01-24 | 情報処理装置、情報処理方法、及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108885802A CN108885802A (zh) | 2018-11-23 |
CN108885802B true CN108885802B (zh) | 2023-07-04 |
Family
ID=59962927
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201780019430.XA Active CN108885802B (zh) | 2016-03-29 | 2017-01-24 | 信息处理装置、信息处理方法和存储介质 |
Country Status (5)
Country | Link |
---|---|
US (1) | US10853681B2 (zh) |
EP (1) | EP3438938B1 (zh) |
JP (1) | JP6784289B2 (zh) |
CN (1) | CN108885802B (zh) |
WO (1) | WO2017169001A1 (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020149216A (ja) * | 2019-03-12 | 2020-09-17 | ソニー株式会社 | 情報処理装置、情報処理方法、及びプログラム |
WO2021020130A1 (ja) * | 2019-07-29 | 2021-02-04 | ソニー株式会社 | 情報処理装置、情報処理方法、およびプログラム |
JP7206232B2 (ja) * | 2020-03-23 | 2023-01-17 | 株式会社日立製作所 | 拡張現実のコンテンツ生成装置、および、拡張現実のコンテンツ表示装置 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010167223A (ja) * | 2009-01-26 | 2010-08-05 | Namco Bandai Games America Inc | プログラム、情報記憶媒体及びゲームシステム |
CN105103198A (zh) * | 2013-04-04 | 2015-11-25 | 索尼公司 | 显示控制装置、显示控制方法以及程序 |
CN105320279A (zh) * | 2014-07-31 | 2016-02-10 | 三星电子株式会社 | 可穿戴眼镜和利用其提供内容的方法 |
CN105378625A (zh) * | 2013-06-25 | 2016-03-02 | 微软技术许可有限责任公司 | 指示视野外的增强现实图像 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4152280B2 (ja) * | 2003-08-27 | 2008-09-17 | 富士フイルム株式会社 | 映像信号出力方法、映像信号出力装置及びデジタルカメラ |
JP4802806B2 (ja) * | 2006-03-28 | 2011-10-26 | ブラザー工業株式会社 | 画像表示装置 |
JP5983547B2 (ja) | 2013-07-02 | 2016-08-31 | 株式会社デンソー | ヘッドアップディスプレイ及びプログラム |
JP2015228050A (ja) * | 2014-05-30 | 2015-12-17 | ソニー株式会社 | 情報処理装置および情報処理方法 |
JP6099686B2 (ja) * | 2015-03-20 | 2017-03-22 | 株式会社Pfu | 画像処理装置、領域検出方法及びコンピュータプログラム |
-
2017
- 2017-01-24 CN CN201780019430.XA patent/CN108885802B/zh active Active
- 2017-01-24 WO PCT/JP2017/002223 patent/WO2017169001A1/ja active Application Filing
- 2017-01-24 EP EP17773551.1A patent/EP3438938B1/en active Active
- 2017-01-24 US US16/086,739 patent/US10853681B2/en active Active
- 2017-01-24 JP JP2018508439A patent/JP6784289B2/ja active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010167223A (ja) * | 2009-01-26 | 2010-08-05 | Namco Bandai Games America Inc | プログラム、情報記憶媒体及びゲームシステム |
CN105103198A (zh) * | 2013-04-04 | 2015-11-25 | 索尼公司 | 显示控制装置、显示控制方法以及程序 |
CN105378625A (zh) * | 2013-06-25 | 2016-03-02 | 微软技术许可有限责任公司 | 指示视野外的增强现实图像 |
CN105320279A (zh) * | 2014-07-31 | 2016-02-10 | 三星电子株式会社 | 可穿戴眼镜和利用其提供内容的方法 |
Also Published As
Publication number | Publication date |
---|---|
WO2017169001A1 (ja) | 2017-10-05 |
US20190114502A1 (en) | 2019-04-18 |
JP6784289B2 (ja) | 2020-11-11 |
US10853681B2 (en) | 2020-12-01 |
CN108885802A (zh) | 2018-11-23 |
EP3438938A1 (en) | 2019-02-06 |
JPWO2017169001A1 (ja) | 2019-02-14 |
EP3438938A4 (en) | 2019-02-13 |
EP3438938B1 (en) | 2021-03-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6747504B2 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
US10489981B2 (en) | Information processing device, information processing method, and program for controlling display of a virtual object | |
US9405977B2 (en) | Using visual layers to aid in initiating a visual search | |
WO2016203792A1 (ja) | 情報処理装置、情報処理方法及びプログラム | |
US8952869B1 (en) | Determining correlated movements associated with movements caused by driving a vehicle | |
JP6693223B2 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
JP2017146651A (ja) | 画像処理方法及び画像処理プログラム | |
US11004273B2 (en) | Information processing device and information processing method | |
CN110998666A (zh) | 信息处理装置、信息处理方法以及程序 | |
WO2019130708A1 (ja) | 情報処理装置、情報処理方法及びプログラム | |
WO2014128751A1 (ja) | ヘッドマウントディスプレイ装置、ヘッドマウントディスプレイ用プログラム、およびヘッドマウントディスプレイ方法 | |
CN108885802B (zh) | 信息处理装置、信息处理方法和存储介质 | |
CN112585673A (zh) | 信息处理设备、信息处理方法及程序 | |
US20230254466A1 (en) | Control device | |
JP6504382B2 (ja) | 表示制御装置、表示システム、表示制御方法、表示制御プログラム、および投影装置 | |
US11422622B2 (en) | Electronic device and operating method thereof | |
CN115698923A (zh) | 信息处理装置、信息处理方法和程序 | |
KR20210147837A (ko) | 전자 장치 및 그 동작 방법 | |
JP6478201B2 (ja) | 表示制御装置、表示システム、表示制御方法、表示制御プログラム、および投影装置 | |
JP6365879B2 (ja) | 表示制御装置、表示制御方法、表示制御プログラム、および投影装置 | |
WO2020184029A1 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
JP2016081464A (ja) | 表示制御プログラムおよび表示制御装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |