CN107678535A - 用于图像显示的方法和支持该方法的电子设备 - Google Patents

用于图像显示的方法和支持该方法的电子设备 Download PDF

Info

Publication number
CN107678535A
CN107678535A CN201710646198.4A CN201710646198A CN107678535A CN 107678535 A CN107678535 A CN 107678535A CN 201710646198 A CN201710646198 A CN 201710646198A CN 107678535 A CN107678535 A CN 107678535A
Authority
CN
China
Prior art keywords
image
electronic equipment
images
area
processor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710646198.4A
Other languages
English (en)
Inventor
韩宗铉
金宝根
安性妍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN107678535A publication Critical patent/CN107678535A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/211—Input arrangements for video game devices characterised by their sensors, purposes or types using inertial sensors, e.g. accelerometers or gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/212—Input arrangements for video game devices characterised by their sensors, purposes or types using sensors worn by the player, e.g. for measuring heart beat or leg activity
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A63F13/26—Output arrangements for video game devices having at least one additional display device, e.g. on the game controller or outside a game booth
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • A63F13/525—Changing parameters of virtual cameras
    • A63F13/5255—Changing parameters of virtual cameras according to dedicated instructions from a player, e.g. using a secondary joystick to rotate the camera around a player's character
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0132—Head-up displays characterised by optical features comprising binocular systems
    • G02B2027/0134—Head-up displays characterised by optical features comprising binocular systems of stereoscopic type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0176—Head mounted characterised by mechanical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/012—Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Cardiology (AREA)
  • General Health & Medical Sciences (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

一种头戴式电子设备，包括：显示器，在左眼透镜和右眼透镜区域中显示虚拟现实(VR)图像；相机模块，拍摄图像；以及处理器，基于相机模块的拍摄图像来检测存在于相机模块的拍摄范围内的至少一个对象。处理器被配置为：如果至少一个对象存在于第一区域内，则将VR图像切换到拍摄图像，或者切换到包括拍摄图像的至少一部分的增强现实(AR)图像，所述第一区域是拍摄范围内从相机模块到与相机模块间隔第一距离的点的区域。

Description

用于图像显示的方法和支持该方法的电子设备
优先权
本申请要求2016年8月1日提交的第10-2016-0097833号韩国专利申请的优先权，其内容通过引用并入本文。
技术领域
本公开通常涉及一种基于头戴式显示设备的图像显示技术。
背景技术
随着图像处理技术快速地发展，各种形状的图像设备被提出。例如，作为可安装在身体上的可穿戴图像显示设备的头戴式显示器(HMD)设备可以显示用户的视野中的图像。
基于从外部数字设备或内部设备提供的图像信号，HMD设备可以通过内部光学设备显示大屏幕、高倍率的图像。此外，HMD设备可以显示立体虚拟现实(VR)图像并且可以用于各个领域，诸如教育领域、军事领域、医疗领域或工业领域。
由于HMD设备在被安装在用户的面部区域时被操作，因此用户的视野可能被限制在HMD设备的内部区域内。在这种情况下，通过HMD设备观看图像的用户可能无法感知外围环境，从而与外围对象(例如，动物、物体、人体等)相撞。
发明内容
本公开的示例方面解决了至少上述问题和/或缺点，并且提供了至少下述优点。因此，本公开的示例性方面提供了一种图像显示方法以及支持该图像显示方法的电子设备，该图像显示方法允许穿戴HMD设备的用户基于从与HMD设备相邻的对象拍摄的图像来感知真实空间中的环境。
根据本公开的示例方面，头戴式电子设备可以包括：显示器，被配置为在左眼和右眼透镜区域中显示虚拟现实(VR)图像；相机模块，被配置为拍摄图像；以及处理器，被配置为基于相机模块的拍摄图像来检测存在于相机模块的拍摄范围内的至少一个对象。
根据示例实施例，如果至少一个对象存在于第一区域内，则处理器可以将VR图像切换到拍摄图像或包括至少部分拍摄图像的增强现实(AR)图像，所述第一区域包括拍摄范围内从相机模块到与相机模块间隔第一距离的点的区域。
根据以下结合附图公开了本公开的各种实施例的详细描述，本公开的其它方面、优点和显着特征对于本领域技术人员将变得更加明显。
附图说明
根据以下结合附图的详细描述，本公开的上述和其它方面、特征和伴随的优点将更加明显和容易理解，在附图中，相同的附图标记指代相同的元件，并且在附图中：
图1是示出根据示例实施例的示例头戴式显示设备的图；
图2是示出根据示例实施例的头戴式显示设备的操作的示例的图；
图3是示出根据示例实施例的操作头戴式显示设备的真实空间的示例的图；
图4是示出根据示例实施例的电子设备的示例配置的图；
图5A是示出对象存在于第一区域内的示例第一实施例的图；
图5B是示出根据第一实施例的图像切换的示例的图；
图5C是示出根据第一实施例的图像切换的另一示例的图；
图5D是示出根据第一实施例的图像切换的另一示例的图；
图6A是示出对象存在于第二区域内的示例第二实施例的图；
图6B是示出根据第二实施例的图像切换的示例的图；
图7A是示出对象存在于相机模块的拍摄范围内的示例第三实施例的图；
图7B是示出根据第三实施例的图像切换的示例的图；
图8是示出根据示例实施例的电子设备的示例图像显示方法的流程图；以及
图9是示出根据另一示例实施例的电子设备的示例图像显示方法的流程图。
贯穿附图，应当注意，相同的附图标记用于描绘相同的或相似的元件、特征和结构。
具体实施方式
可以参考附图描述本公开的各种示例实施例。因此，本领域普通技术人员将认识到，在不脱离本公开的范围和精神的情况下，可以对本文描述的各种实施例进行各种修改、等同和/或替代。关于附图的描述，相似的元件可以用相似的附图标记表示。
在本文公开的公开内容中，本文所使用的表述“具有”、“可以具有”、“包括”和“包含”，或者“可以包括”和“可以包含”指示存在相应的特征(例如，诸如数值、功能、操作或组件的要素)，但不排除存在其他功能。
在本文公开的公开内容中，本文所使用的表述“A或B”、“A或/和B中的至少一个”或“A或/和B中的一个或多个”等等可以包括相关列举项中的一个或多个的任何和所有组合。例如，术语“A或B”、“A和B中的至少一个”或“A或B中的至少一个”可以指代以下所有情况：包括至少一个A的情况(1)、包括至少一个B的情况(2)或包括至少一个A和至少一个B两者的情况(3)。
在本公开中使用的诸如“第一”、“第二”等的术语可以用于与顺序和/或优先级无关地指代各种要素，并且用于将相关要素与其他要素相区分，但是不对要素进行限制。例如，“第一用户设备”和“第二用户设备”与顺序或优先级无关地指示不同的用户设备。例如，在不脱离本公开的范围的情况下，第一要素可以被称为第二要素，并且类似地，第二要素可以被称为第一要素。
将理解的是，当要素(例如，第一要素)被称为“(可操作地或通信地)与另一要素(例如，第二要素)耦合”或“(可操作地或通信地)耦合到”另一要素(例如，第二要素)”或“连接到”另一要素(例如，第二要素)时，其可以直接地与该另一要素耦合或耦合到该另一要素或连接到该另一要素，或者可以存在居于中间的要素(例如，第三要素)。另一方面，当要素(例如，第一要素)被称为“与另一要素(例如，第二要素)直接地耦合”或“直接地耦合到”另一要素(例如，第二要素)”或“直接地连接到”另一要素(例如，第二要素)时，应当理解，不存在居于中间的要素(例如，第三要素)。
根据情况，本文使用的表述“配置为”可以与例如“适合于”、“具有能力”、“被设计为”、“被适配为”、“被制造成”、或“能够”互换使用。术语“配置为”不能仅意味着在硬件中“被专门设计为”。相反，表述“设备，被配置为”可以指代设备“能够”与另一设备或其他组件一起操作的情况。例如，“处理器，被配置为执行A、B和C”可以指代用于执行相对应的操作的专用处理器(例如，嵌入式处理器)，或者可以通过运行存储在存储器设备中的一个或多个软件程序来执行相对应的操作的通用处理器(例如，中央处理单元(CPU)或应用处理器)。
本公开中使用的术语用于描述本公开的具体实施例，并且不意图限制本公开的范围。单数形式的术语可以包括复数形式，除非另有规定。本文使用的所有术语(包括技术术语或科学术语)可以具有与本领域技术人员通常理解的含义相同的含义。将进一步理解，在词典定义的并且通常使用的术语也应被解释为相关现有技术中的惯例，而不是理想化或过度正式，除非在本公开的各种实施例中明确地如此定义。在某些情况下，即使术语是在本公开中定义的术语，它们也可能不被解释为排除本公开的实施例。
根据本公开的各种实施例的电子设备可以包括智能电话、平板式个人计算机(PC)、移动电话、视频电话、电子书阅读器、个人数字助理(PDA)、便携式多媒体播放器(PMP)或智能相机等中的至少一个，但不限于此。
根据各种实施例，电子设备可以是上述设备之一或其组合。根据实施例的电子设备可以是柔性电子设备。此外，根据实施例的电子设备可以不限于上述电子设备，并且可以包括其他电子设备和根据技术发展的新的电子设备。
在下文中，将参考附图描述根据本公开的实施例的电子设备。本文中使用的术语“用户”可以指代使用电子设备(或头戴式显示设备)的人，或可以指代设备(例如，人工智能电子设备)。
贯穿本公开描述的电子设备可以在安装在头戴式显示器(HMD)设备上的同时被操作，并且可以被配置为可从HMD设备移除。可选地，电子设备可以包括HMD设备，或者可以与HMD设备物理地或可操作地集成。下面将描述在HMD设备上安装和操作电子设备的示例实施例。
图1是示出根据示例实施例的示例头戴式显示设备的图。
参考图1，HMD设备200可以包括主框架210、支撑构件220、前框架230或安装构件240。可以包括电子设备100作为HMD设备200的元件。
主框架210可以形成HMD设备200的主体并且还可以容纳与执行HMD设备200的功能相关联的元件中的至少一些。主框架210可以由支撑构件220支撑在用户的面部(例如，面部区域)上。为此，主框架210可以由轻质材料(例如，塑料)形成。
主框架210可以包括定位构件211和/或输入构件213。定位构件211可以控制前框架230的前或后移动。例如，如果用户操作定位构件211，则前框架230的至少部分可以插入主框架210中，或者可以从主框架210突出到外部。因此，安装在前框架230上的电子设备100可以靠近用户的面部或者可以与用户的面部间隔开。用户可以通过定位构件211调整电子设备100的位置，以形成适合用户的视线环境。在各种实施例中，定位构件211可以包括例如转轮、拨盘等。
输入构件213可以包括各种输入电路，并且允许电子设备100的功能响应于例如用户输入(例如，触摸、按压、拖动等)来操作。对此，用户可以通过使用输入构件213来允许图形用户界面(GUI)显示在视觉上显示的屏幕上。用户可以通过操作输入构件213使得输入信号被施加到包括在GUI中的至少一个对象(例如，设置菜单)来控制与图像回放相关联的设置项，诸如电子设备100的音量。在各种实施例中，输入构件213可以包括触摸板、物理按钮、操纵杆和转轮中的至少一个。
主框架210还可以包括用于与电子设备100通信的连接器(未示出)。连接器可以执行HMD设备200和电子设备100之间的输入/输出接口的作用。例如，施加到输入构件213的输入(或输入到GUI的信号)可以通过连接器传送到电子设备100。在各种实施例中，连接器可以包括可连接到电子设备100的USB端口的USB连接器。此外，在各种实施例中，连接器可以由耦合构件231自身实现，或者可以布置在耦合构件231的部分区域中。
支撑构件220可以在用户的面部(例如，面部区域)上支撑主框架210。支撑构件220可以耦合到主框架210的一个侧表面(例如，后表面)，或者可以与主框架210一体地形成。支撑构件220可以具有与人的面部曲线相对应的结构，从而与用户的面部紧密接触。在各种实施例中，支撑构件220的至少部分区域可以包括缓冲材料，用于减少与用户面部的物理摩擦、物理冲击等。
前框架230可以提供用于安装(或整合或容纳)电子设备100的区域。对此，前框架230的形状可以与电子设备100的大小或面积相对应。在实施例中，前框架230可以包括用于固定电子设备100的至少一个耦合构件231。布置在前框架230(或主框架210)内的透镜组件233的至少一部分可以通过前框架230的至少部分区域被暴露。因此，穿戴HMD设备200的用户可以通过透镜组件233观看电子设备100的至少部分区域(例如，前显示区域)。
安装构件240(例如，带)可以在穿戴HMD设备200时将主框架210固定在用户的面部。安装构件240的相对端可以具有钩(hook)结构并且可以与主框架的相对端连接。安装构件240可以包括例如弹性材料，或者可以包括用于调节长度的构件(例如，扣环、尼龙搭扣(Velcro)、磁体等)。因此，安装构件240可以稳定地围绕用户的头部区域并且可以在支撑主框架210的重量的同时固定主框架210的位置。在各种实施例中，安装构件240可以用眼镜腿(temple)、头盔、捆带等替换。
电子设备100可以基于耦合构件231安装在前框架230上并且可以与HMD设备200相互作用。例如，显示在电子设备100的显示区域中的图像可以通过透镜组件233显示在HMD设备200的用户的视野中。
在各种实施例中，HMD设备200还可以包括盖构件250。盖构件250可以有助于防止和/或减少电子设备100的分离的可能性，并且还可以保护电子设备100免受外部冲击。关于执行电子设备100的功能(例如，操作相机130)，盖构件250的部分区域(例如，与相机130的位置相对应的区域)可以包括例如开口251。
图2是示出根据示例实施例的头戴式显示设备的操作的示例的图。
参考图1和图2，在其上安装了电子设备100的HMD设备200可以在用户的视野中显示屏幕。例如，安装在HMD设备200上的电子设备100可以在显示区域中显示图像，并且可以在屏幕(例如，通过透镜组件233观看的屏幕)中显示图像，该屏幕通过HMD设备200显示在用户的视野中。在该操作中，电子设备100可以执行正常功能(例如，在显示区域中显示一个图像的功能)或虚拟现实(VR)功能(例如，在显示区域中将一个图像显示为分离为左眼区域和右眼区域的功能)。在电子设备100基于VR功能显示图像的情况下，用户可以通过HMD设备200的透镜组件233来观看VR图像10。在各种实施例中，为了防止由于包括在透镜组件233中的透镜而导致的图像的失真，VR功能可以依赖于透镜的特性使二维图像反向失真(inversely distort)。
图3是示出根据示例实施例的操作头戴式显示设备的真实空间的示例的图。
如图3所示，穿戴HMD设备200的用户可以在真实空间中接近或邻近各种对象(例如，动物1、对象2和3、人体(未示出)等)。替选地，在用户关于操作HMD设备200而移动(例如，通过VR图像10执行游戏)的情况下，用户可以接近对象。
由于在穿戴HMD设备200的用户的视野中仅显示VR图像10，因此用户可能无法察觉相邻或接近的对象，或者可能无法掌握对象的确切位置。在这种情况下，可能存在穿戴HMD设备200的用户与存在于真实空间内的对象碰撞的风险。除了简单的物理接触之外，碰撞可能会导致事故，诸如用户受伤和对象损坏。对此，根据实施例的电子设备100可以检测存在于距离HMD设备200(或穿戴HMD设备200的用户)特定距离内的对象。如果检测到对象，则电子设备100可以将显示区域中显示的图像切换为与对象相关联的图像，从而向用户提供与对象相关联的通知。
图4是示出根据示例实施例的电子设备的示例配置的图。
参考图4，电子设备100可以包括存储器110、显示器120、相机模块(例如，包括相机电路)130、处理器(例如，包括处理电路)140、输入/输出接口(例如，包括输入/输出电路)150和/或通信接口(例如，包括通信电路)160。在实施例中，电子设备100可以不包括上述元件中的至少一个或者还可以包括任何其他(一个或多个)元件。在各种实施例中，可以包括上述元件的至少一些作为HMD设备200的元件，或者可以包括包含上述元件的电子设备100作为HMD设备200的元件。
存储器110可以包括易失性和/或非易失性存储器。例如，存储器110可以存储与电子设备100的至少一个其他元件相关联的指令或数据。在各种实施例中，存储器110可以存储应用程序，并且应用程序可以包括例如将要通过显示器120显示的至少一个图像数据。
显示器120可以显示各种内容(例如，文本、图像、视频、图标、符号等)。例如，显示器120可以显示与包括在应用程序中的至少一个图像数据相对应的内容。在各种实施例中，在电子设备100操作VR功能的情况下，显示器120可以将一个图像分离为与用户的左眼和右眼相对应的两个图像并且分别显示。在各种实施例中，显示器120可以包括液晶显示器(LCD)、发光二极管(LED)显示器、有机LED(OLED)显示器、微机电系统(MEMS)显示器或电子纸显示器等，但不限于此。
相机模块130可以包括各种相机电路并且拍摄静止图像或视频。例如，如果将电子设备100安装在HMD设备200上，则相机模块130可以拍摄HMD设备200前面的区域的图像。在实施例中，在将电子设备100安装在HMD设备200上之后，一旦HMD设备200被驱动或者在从HMD设备200被驱动的时间点起经过特定时间之后，相机模块130可以被激活。在各种实施例中，相机模块130可以从电子设备100安装在HMD设备200上的时间点起被激活。替选地，相机模块130可以在用户穿戴HMD设备200的时间点起被激活。
在各种实施例中，相机模块130可以包括各种相机电路，诸如，例如但不限于，至少一个深度相机(例如，飞行时间(TOF)方式或结构光方式)和/或彩色相机(例如，RGB相机)。此外，关于执行功能，相机模块130还可以包括至少一个传感器(例如，接近传感器)或光源(例如，LED阵列)。在各种实施例中，至少一个传感器可以用独立于相机模块130的模块来实现，并且可以感测HMD设备200前面的区域。例如，传感器(例如，接近传感器)模块可以通过将红外线(或超声波)发射到HMD设备200前面的区域并且接收从对象反射的红外线(或超声波)来感测对象。在这种情况下，相机模块130可以从由传感器模块感测到至少一个对象的时间点起被激活。
处理器140可以包括各种处理电路，并且执行数据处理或者与电子设备100的至少一个其他元件的控制或通信相关联的操作。例如，处理器140可以获得由相机模块130拍摄的图像的数据，并且可以基于获得的图像数据来检测存在于相机模块130的拍摄范围内的对象。在该操作中，处理器140可以从检测目标排除与HMD设备200相关联的外部设备(例如，与HMD设备200配对的操纵杆)。对此，当设置HMD设备200与外部设备之间的配对时，处理器140可将外部设备的至少一部分的图像数据存储在存储器110中。在实施例中，处理器140可以将在相机模块130的拍摄范围内检测到的至少一个对象的图像数据与在存储器110中所存储的图像数据进行比较。如果比较结果指示特定对象的图像数据与在存储器110中所存储的图像数据以特定的数值或更多而相符，则处理器140可以确定电子设备100或HMD设备200是否与特定对象交互(或者在特定对象与电子设备100或HMD设备200之间是否发送和接收特定数据)。处理器140可以将与在存储器110中所存储的图像数据相对应的并且与电子设备100或HMD设备200交互的对象识别为与HMD设备200配对的外部设备，并且可以从对象检测目标排除所识别的对象。
在各种实施例中，处理器140可以从检测目标排除与穿戴HMD设备200的用户相关联的对象。例如，处理器140可以将存在于距穿戴HMD设备200的用户特定范围(例如，由与用户的手臂长度相对应的半径所确定的范围)内的对象确定为用户的身体，并且可以从检测对象排除所确定的对象。替选地，处理器140可以将物理上接触与HMD设备200配对的外部设备的对象确定为握持外部设备的用户的身体，并且可以从检测对象排除所确定的对象。
在实施例中，处理器140可以计算(确定)或检测检测到的对象的数量、检测到的对象的大小、检测到的对象与HMD设备200之间的距离、检测对象的移动等。处理器140可以基于所计算或检测到的结果来控制显示器120的驱动。这将在下面更详细地描述。
在各种实施例中，处理器140可以包括各种处理电路，诸如，例如但不限于，专用处理器、中央处理单元(CPU)、应用处理器(AP)和通信处理器(CP)中的至少一个。作为硬件，处理器140的至少一部分可以访问存储器110以执行与在存储器110中所存储的指令相关联的功能。
输入/输出接口150可以包括各种输入/输出电路，并且将来自用户或另一外部设备(例如，HMD设备200)的命令或数据传送到电子设备100的任何其他元件。另外，输入/输出接口150可以向用户或另一外部设备输出来自电子设备100的任何其他元件的命令或数据。
通信接口160可以包括各种通信电路，并且在电子设备100与外部设备(例如，HMD设备200)之间建立通信。例如，通信接口160可以支持通过无线通信(例如，无线保真(Wi-Fi)、蓝牙、近场通信(NFC)、磁条传输(MST)等)或有线通信与外部设备的通信。
图5A是示出对象存在于第一区域内的示例第一实施例的图，而图5B、图5C和图5D是示出根据第一实施例的图像切换的各种示例的图。
参考图5A，用户可以在任何真实空间中操作在其上安装有电子设备100的HMD设备200。如果从HMD设备200被驱动的时间点起经过了特定时间，则可以激活安装在电子设备100中的相机模块130。在各种实施例中，相机模块130可以从电子设备100安装在HMD设备200上的时间点起或从用户穿戴HMD设备200的时间点起被激活。
在相机模块130被激活的时间点，HMD设备200可以处于在用户的视野中显示图像(例如，VR图像)的状态或HMD设备200准备好显示图像的状态。将在下面描述的各种实施例(图5A至图5D、图6A和图6B或图7A和图7B)将被描述为HMD设备200在相机模块130被激活的时间点显示VR图像，但是可以等同或类似地应用于HMD设备200准备好显示VR图像的状态。
激活的相机模块130可以连续地或周期地拍摄HMD设备200前面的区域。相机模块130可以以批次(batch)的形式或以流(stream)的形式将拍摄的图像实时地传送到电子设备100的处理器(图4的140)。处理器140可以基于拍摄的图像来检测相机模块130的拍摄范围131内存在的对象。
在实施例中，在至少一个对象(例如，狗1)存在于相机模块130的拍摄范围131内的情况下，处理器140可以计算(确定)从HMD设备200到对象1的距离。如果HMD设备200与对象1之间的计算距离在特定第一距离“r”内，则处理器140可以确定对象1存在于第一区域132内，第一区域132被指定为从HMD设备200到与其间隔第一距离“r”的点的区域。
在实施例中，对于存在于第一区域132内的至少一个对象1，处理器140可以将显示在电子设备100的显示器120中的图像切换为由相机模块130拍摄的图像。在这种情况下，如图5B所示，在HMD设备200的屏幕上播放的VR图像10可以基于相机模块130的驱动而切换到与HMD设备200前面的区域相关联的拍摄图像30。在各种实施例中，处理器140可以控制电子设备100，使得在切换到拍摄图像30时输出特定通知声音或振动。另外，在各种实施例中，指示HMD设备200与存在于第一区域132内的对象1之间的距离的数值可以显示在如此切换的拍摄图像30上。
参考另一实施例，在第一区域132内存在至少一个对象1的情况下，处理器140可以将电子设备100的显示器120中显示的图像切换为增强现实(AR)图像。例如，AR图像可以包括以下图像：在该图像中，在HMD设备200的屏幕上显示的VR图像10的至少一部分和由相机模块130拍摄的拍摄图像30的至少一部分重叠(画中画(PIP)方式)。因此，AR图像可以包括以下图像：在该图像中，VR图像10和拍摄图像30中的任何一个的至少一部分包括在VR图像10和拍摄图像30中的另一个中。对此，参考图5C，在穿戴HMD设备200的用户的视野中显示的VR图像10可以切换到其中对象1的拍摄图像重叠在VR图像10上的AR图像40a。在各种实施例中，处理器140可以控制电子设备100的任何其他元件，使得与图像切换操作一起输出诸如特定通知声音或振动的事件。
参考图5D，根据另一实施例，在至少一个对象1存在于第一区域132内的情况下，处理器140可以切换其类型与上述AR图像的类型不同的AR图像。例如，不同类型的AR图像可以包括以下图像：在该图像中，显示在显示器120上的VR图像10和相机模块130的拍摄图像30在同一帧中彼此并列(例如，画外画(picture out picture，POP)方式)。因此，可以将显示在HMD设备200的屏幕上的图像从VR图像10切换到在其中显示被划分为具有特定大小的VR图像10和拍摄图像30的AR图像40b。
图6A是示出对象存在于第二区域内的示例第二实施例的图，而图6B是示出根据示例第二实施例的图像切换的示例的图。
在图6A中，在电子设备100的处理器(图4的140)处检测存在于相机模块130的拍摄范围131内的对象的操作以及由检测操作参与的操作可以与参考图5A描述的操作相同或相似，或者可以对应于参考图5A描述的操作。
在实施例中，在至少一个对象(例如，狗1)存在于相机模块130的拍摄范围131内的情况下，处理器140可以计算(确定)从HMD设备200到对象1的距离。如果HMD设备200与对象1之间的距离超过特定第一距离“r”，并且不大于第三距离(例如，与第一距离“r”和特定第二距离“R”之和相对应的距离)，则处理器140可以确定对象1存在于第二区域133内。例如，第二区域133可以包括从上述第一区域(图5A的132)的边界到与其间隔特定第二距离“R”的点“P”的区域。
在实施例中，在至少一个对象1存在于第二区域133内的情况下，处理器140可以将至少一个内容添加到在电子设备100的显示器(图4的120)中显示的图像的至少一个区域。例如，至少一个内容可以包括与存在于第二区域133内的对象1相关联的图标、诸如阴影轮廓或符号的图像、或者诸如字符的文本。在各种实施例中，处理器140可以控制电子设备100，使得与添加内容一起输出特定通知声音或振动。当内容被添加到显示器120上的图像时，如图6B所示，包括与对象1相关联的内容1a(例如，图标)的VR图像10可以显示在穿戴HMD设备200的用户的视野中。
在各种实施例中，在存在于第二区域133内的对象1是动态对象的情况下，处理器140可以允许内容1a在显示器120上显示的图像上跟踪动态对象的位置。例如，处理器140可以以批次的形式或以流的形式连续地或周期地分析实时地从相机模块130提供的拍摄图像，以检测对象1的方向变化，对象1的大小变化，对象1与HMD设备200之间的距离变化等。如果检测到至少一个变化，则处理器140可以确定对象1是动态对象。处理器140可以基于拍摄的图像来跟踪动态对象的移动，并且可以调整在显示器120中显示的图像上添加内容1a的位置，以便对应于动态对象的位置移动。
图7A是示出对象存在于相机模块的拍摄范围内的示例第三实施例的图，而图7B是示出根据示例第三实施例的图像切换的示例的图。将参考图7和图7B描述的示例实施例可以与在参考图5A至图5D描述的实施例中或在参考图6A和图6B描述的实施例中假设的操作和功能的执行相关联。
在图7A中，与激活相机模块130相关联的操作可以与参考图5A描述的操作相同或相似。激活的相机模块130可以对HMD设备200前面的区域执行第一拍摄，并且可以将拍摄的图像传送到处理器(图4的140)。
处理器140可以基于来自相机模块130的第一拍摄图像来计算(确定)存在于相机模块130的拍摄范围131内的对象(例如，狗1、桌子2和沙发3)的数量。在实施例中，如果计算的对象数量超过特定阈值，则处理器140可以将显示在显示器(图4的120)中的图像切换到至少一个弹出窗口。在这种情况下，如图7B所示，在穿戴HMD设备200的用户的视野中显示的VR图像10可以被切换到至少一个弹出窗口20。与请求改变HMD设备200的位置(或穿戴HMD设备200的用户的位置)相关联的至少一个文本可以包括在弹出窗口20中。然而，弹出窗口20不限于图7B，并且可以包括各种形状、多个弹出窗口、各种内容等。
在各种实施例中，处理器140可以基于第一拍摄图像来计算存在于相机模块130的拍摄范围131内的对象1、2和3的大小。如果至少一个对象的大小大于特定阈值尺寸，则处理器140可以将显示的VR图像10切换到弹出窗口20。在该操作中，即使计算的对象1、2和3的数量不超过特定阈值，但是如果至少一个对象超过阈值大小，则处理器140可以将VR图像10切换到弹出窗口20。
如上所述，根据各种实施例的头戴式电子设备可以包括：显示器，在左眼和右眼透镜区域中显示虚拟现实(VR)图像；相机模块，包括被配置为拍摄图像的相机电路；以及处理器，基于由相机模块拍摄的拍摄图像来检测存在于相机模块的拍摄范围内的至少一个对象。
根据各种示例实施例，如果至少一个对象存在于第一区域内，则处理器可以将VR图像切换到拍摄图像或者将VR图像切换到包括拍摄图像的至少部分的增强现实(AR)图像，所述第一区域是相机模块的拍摄范围内从相机模块到与相机模块间隔第一距离的点的区域。
根据各种示例实施例，如果至少一个对象存在于第二区域内，则处理器可以将与存在于第二区域内的对象相关联的至少一个内容添加到VR图像，所述第二区域是相机模块的拍摄范围内从第一区域的边界到与第一区域的边界间隔第二距离的点的区域。
根据各种示例实施例，如果存在于第二区域内的至少一个对象是动态对象，则处理器可以允许在VR图像上跟踪动态对象的位置变化。
根据各种示例实施例，处理器可以基于在头戴式电子设备被驱动之后由相机模块拍摄的图像来确定存在于相机模块的拍摄范围内的对象的数量，并且如果确定的对象的数量超过对象的特定阈值数量，则可以将VR图像切换到至少一个弹出窗口。
根据各种示例实施例，弹出窗口可以包括与头戴式电子设备的位置改变相关联的至少一个文本。
根据各种示例实施例，相机模块可以在从头戴式电子设备被驱动的时间点起经过特定时间之后被激活。
根据各种示例实施例，头戴式电子设备可以包括至少一个耦合器，其上安装有包括相机模块和处理器中的至少一个的电子设备。
根据各种示例实施例，相机模块可以从电子设备安装在头戴式电子设备上的时间点起被激活。
根据各种示例实施例，当将VR图像切换到AR图像时，处理器可以将存在于第一区域内的对象的至少部分的拍摄图像重叠在VR图像的至少部分上。
根据各种示例实施例，当将VR图像切换到AR图像时，处理器可以在单个屏幕上分别显示VR图像和拍摄图像，VR图像和拍摄图像每个具有特定大小。
图8是示出根据示例实施例的电子设备的示例图像显示方法的流程图。
在操作801中，可以驱动安装有电子设备100的HMD设备200。在各种实施例中，在从HMD设备200被驱动的时间点起经过特定时间的时间点，或者在用户穿戴在其上安装有电子设备100的HMD设备200的时间点，一旦电子设备100安装在HMD设备200上，电子设备100的相机模块130就可以被激活。激活的相机模块130可以拍摄HMD设备200前面的区域。相机模块130可以将拍摄的图像实时地传送到电子设备100的处理器140。
在操作803中，处理器140可以基于由相机模块130拍摄的图像检测存在于(例如，位于)相机模块130的拍摄范围内的对象(例如，动物、物体、人体等)。在检测到至少一个对象的情况下，处理器140可以计算从HMD设备200(或穿戴HMD设备200的用户)到检测到的对象的距离。
在操作805中，处理器140可以基于计算的HMD设备200与检测到的对象之间的距离来确定检测到的对象所位于的区域。存在于相机模块130的拍摄范围内的对象可以位于特定第一区域、第二区域和第三区域中的任何一个区域中。第一区域可以包括从HMD设备200到与其间隔特定第一距离的点的区域。第二区域可以包括第一区域的边界与拍摄范围的特定点之间的第二距离区域。第三区域可以包括除了第一区域和第二区域之外的相机模块130的拍摄范围的剩余区域。
如果在操作805中确定检测到的对象位于第一区域内，则在操作807中，处理器140可以将在显示器120中所显示的图像切换为相机模块130拍摄的图像。替选地，处理器140可以将显示器120中显示的图像切换为包括相机模块130的拍摄图像的至少一部分的AR图像。在该操作中，处理器140可以控制电子设备10的其他元件，例如，使得输出特定通知声音或特定模式的振动。
如果在操作805中确定检测到的对象位于第二区域内，则在操作809中，处理器140可以在显示器120中所显示的图像上添加至少一个内容。例如，内容可以包括图标、诸如阴影轮廓或符号的图像、或者诸如字符的文本，其与存在于第二区域内的对象1相关联。在各种实施例中，在存在于第二区域内的对象是动态对象的情况下，处理器140可以控制在显示器120中显示的图像上的内容的位置，以对应于动态对象的位置移动。
尽管图8中未示出，但是如果在操作805中确定对象位于第三区域中，则处理器140可以确定对象位于距HMD设备200相对远的点。因此，处理器140可以不执行提供关于位于第三区域中的对象的单独通知的操作(例如，上述图像切换或内容添加操作)。
图9是示出根据另一示例实施例的电子设备的示例图像显示方法的流程图。例如，下面将要描述的操作可以与在参考图8描述的操作中假定的操作相关联。
在操作901中，可以驱动安装有电子设备100的HMD设备200，并且可以激活电子设备100的相机模块130。激活的相机模块130可以对HMD设备200前面的区域执行第一拍摄，并且可以将拍摄的图像传送到电子设备100的处理器140。
在操作903中，处理器140可以基于由相机模块130首先拍摄的图像来检测存在于相机模块130的拍摄范围内的对象(例如，动物、物体、人体等)。如果在拍摄范围内检测到至少一个或多个对象，则处理器140可以计算检测到的对象的数量。在各种实施例中，处理器140还可以计算存在于相机模块130的拍摄范围内的至少一个对象的大小。
在操作905中，处理器140可以确定计算的对象数量是否超过特定阈值。例如，考虑到HMD设备200的操作位置，用户可以设置或改变特定阈值。如果计算的对象数量超过特定阈值，则在操作907中，处理器140可以将显示器120中显示的图像切换到至少一个弹出窗口。与改变HMD设备200的位置(或穿戴HMD设备200的用户的位置)的请求相关联的至少一个文本可以包括在弹出窗口中。
根据各种实施例，在操作905中，处理器140还可以确定计算的对象大小是否超过特定阈值大小。如果计算的对象大小超过特定阈值大小，另外，即使计算的对象数量不超过特定阈值，但是如果计算的对象大小大于特定阈值大小，则在操作907中，处理器140可以将显示器120中显示的图像切换到弹出窗口。
如上所述，为头戴式电子设备显示图像的方法可以包括：在左眼和右眼透镜区域中显示虚拟现实(VR)图像；拍摄头戴式电子设备前面的区域的图像；基于拍摄图像来检测存在于第一区域内的至少一个对象，所述第一区域是从头戴式电子设备到与头戴式电子设备间隔第一距离的点的区域；以及如果至少一个对象存在于第一区域内，则将VR图像切换到拍摄图像或包括至少部分拍摄图像的增强现实(AR)图像。
根据各种示例实施例，方法还可以包括：基于拍摄图像来检测存在于第二区域内的至少一个对象，所述第二区域是从第一区域的边界到与第一区域的边界间隔第二距离的点的区域；以及如果至少一个对象存在于第二区域内，则将与存在于第二区域内至少一个对象相关联的至少一个内容添加到VR图像。
根据各种示例实施例，添加至少一个内容可以包括允许在VR图像上跟踪存在于第二区域内的对象的位置变化。
根据各种示例实施例，方法还可以包括：基于在头戴式电子设备被驱动之后拍摄的图像来确定存在于除了第一区域和第二区域之外的图像的拍摄范围的第三区域内的对象的数量；以及如果确定的对象数量超过对象的特定阈值数量，则将VR图像切换到至少一个弹出窗口。
根据各种示例实施例，弹出窗口可以包括与头戴式电子设备的位置改变相关联的至少一个文本。
根据各种示例实施例，拍摄图像可以包括在从头戴式电子设备被驱动的时间点起经过特定时间之后开始拍摄。
根据各种示例实施例，方法还可以包括在头戴式电子设备上安装执行图像拍摄，对象检测和切换到AR图像中的至少一个的电子设备。
根据各种示例实施例，拍摄图像可以包括从电子设备安装在头戴式电子设备上的时间点起开始拍摄。
根据各种示例实施例，切换到AR图像可以包括将与存在于第一区域内的对象的至少部分相关联的图像重叠在VR图像的至少部分上。
根据各种示例实施例，切换到AR图像可以包括在单个屏幕上分别显示VR图像和拍摄图像，VR图像和拍摄图像中的每个具有特定大小。
根据各种示例实施例，由于在通过HMD设备显示的屏幕上显示与HMD设备相邻的对象的实际拍摄图像，因此可以在操作HMD设备的同时感知真实空间中的危险情况。
此外，可以提供通过本公开直接或间接理解的各种效果。
虽然已经参考本发明的各种示例实施例来说明和描述了本公开，但是本领域技术人员将理解，在不脱离由所附权利要求及其等同物限定的本公开的精神和范围的情况下，可以在形式和细节上进行各种改变。

Claims (15)

1.一种头戴式电子设备，包括：
显示器，被配置为在左眼透镜区域和右眼透镜区域中显示虚拟现实(VR)图像；
相机模块，包括被配置为拍摄图像的相机电路；以及
处理器，被配置为基于由相机模块所拍摄的拍摄图像来检测存在于相机模块的拍摄范围内的至少一个对象，
其中，所述处理器被配置为：
如果至少一个对象存在于第一区域内，则将VR图像切换到拍摄图像，或者将VR图像切换到包括拍摄图像的至少一部分的增强现实(AR)图像，所述第一区域是相机模块的拍摄范围内从相机模块到与相机模块间隔第一距离的点的区域。
2.根据权利要求1所述的头戴式电子设备，其中，所述处理器被配置为：
如果至少一个对象存在于第二区域内，则将与存在于第二区域内的对象相关联的至少一个内容添加到VR图像，所述第二区域是相机模块的拍摄范围内从第一区域的边界到与第一区域的边界间隔第二距离的点的区域。
3.根据权利要求2所述的头戴式电子设备，其中，所述处理器被配置为：
如果存在于第二区域内的至少一个对象是动态对象，则允许在VR图像上跟踪动态对象的位置变化。
4.根据权利要求2所述的头戴式电子设备，其中，所述处理器被配置为：
基于在头戴式电子设备被驱动之后由相机模块拍摄的图像来确定存在于相机模块的拍摄范围内的对象的数量；以及
如果所确定的对象的数量超过对象的特定阈值数量，则将VR图像切换到至少一个弹出窗口。
5.根据权利要求4所述的头戴式电子设备，其中，所述处理器被配置为：
在弹出窗口中包括与头戴式电子设备的位置改变相关联的至少一个文本。
6.根据权利要求1所述的头戴式电子设备，还包括：
至少一个耦合器，其上安装有包括相机模块和处理器中的至少一个的电子设备。
7.根据权利要求1所述的头戴式电子设备，其中，所述处理器被配置为：
当将VR图像切换到AR图像时，将存在于第一区域内的对象的至少一部分的拍摄图像重叠在VR图像的至少一部分上。
8.根据权利要求1所述的头戴式电子设备，其中，所述处理器被配置为：
当将VR图像切换到AR图像时，在单个屏幕上分别显示VR图像和拍摄图像，VR图像和拍摄图像中的每个具有特定大小。
9.一种为头戴式电子设备显示图像的方法，所述方法包括：
在左眼透镜区域和右眼透镜区域中显示虚拟现实(VR)图像；
拍摄头戴式电子设备前面的区域的图像；
基于拍摄图像来检测存在于第一区域内的至少一个对象，所述第一区域是从头戴式电子设备到与头戴式电子设备间隔第一距离的点的区域；以及
如果至少一个对象存在于第一区域内，则将VR图像切换到拍摄图像或包括拍摄图像的至少一部分的增强现实(AR)图像。
10.根据权利要求9所述的方法，还包括：
基于拍摄图像来检测存在于第二区域内的至少一个对象，所述第二区域是从第一区域的边界到与第一区域的边界间隔第二距离的点的区域；以及
如果至少一个对象存在于第二区域内，则将与存在于第二区域内的至少一个对象相关联的至少一个内容添加到VR图像。
11.根据权利要求10所述的方法，其中，添加至少一个内容包括：
允许在VR图像上跟踪存在于第二区域内的对象的位置变化。
12.根据权利要求10所述的方法，还包括：
基于在头戴式电子设备被驱动之后拍摄的图像来确定存在于图像的拍摄范围的除了第一区域和第二区域之外的第三区域内的对象的数量；以及
如果所确定的对象的数量超过对象的特定阈值数量，则将VR图像切换到至少一个弹出窗口。
13.根据权利要求9所述的方法，还包括：
在头戴式电子设备上安装电子设备，所述电子设备执行拍摄图像、检测对象和切换到AR图像中的至少一个。
14.根据权利要求9所述的方法，其中，切换到AR图像包括：
将与存在于第一区域内的对象的至少一部分相关联的图像重叠在VR图像的至少一部分上。
15.根据权利要求9所述的方法，其中，切换到AR图像包括：
在单个屏幕上分别显示VR图像和拍摄图像，VR图像和拍摄图像中的每个具有特定大小。
CN201710646198.4A 2016-08-01 2017-08-01 用于图像显示的方法和支持该方法的电子设备 Pending CN107678535A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2016-0097833 2016-08-01
KR1020160097833A KR20180014492A (ko) 2016-08-01 2016-08-01 영상 표시 방법 및 이를 지원하는 전자 장치

Publications (1)

Publication Number Publication Date
CN107678535A true CN107678535A (zh) 2018-02-09

Family

ID=59683375

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710646198.4A Pending CN107678535A (zh) 2016-08-01 2017-08-01 用于图像显示的方法和支持该方法的电子设备

Country Status (4)

Country Link
US (1) US20180033177A1 (zh)
EP (1) EP3279771A1 (zh)
KR (1) KR20180014492A (zh)
CN (1) CN107678535A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108415386A (zh) * 2018-03-12 2018-08-17 范业鹏 用于智能车间的增强现实系统及其工作方法
CN109343815A (zh) * 2018-09-18 2019-02-15 上海临奇智能科技有限公司 一种虚拟屏幕装置及虚拟屏幕的实现方法
CN110225238A (zh) * 2018-03-01 2019-09-10 宏达国际电子股份有限公司 场景重建系统、方法以及非暂态电脑可读取媒体
CN112236715A (zh) * 2018-06-27 2021-01-15 三星电子株式会社 用于增强现实的装置和方法
CN112384970A (zh) * 2018-03-28 2021-02-19 云诊断特拉华州股份有限公司 用于时间要求严格的生物医学应用的增强现实系统
CN116744195A (zh) * 2023-08-10 2023-09-12 苏州清听声学科技有限公司 一种参量阵扬声器及其指向性偏转方法

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10300373B2 (en) * 2017-09-08 2019-05-28 Niantic, Inc. Methods and systems for generating detailed datasets of an environment via gameplay
CN109725418B (zh) * 2017-10-30 2020-10-16 华为技术有限公司 显示设备、用于调整显示设备的图像呈现的方法及装置
US11164380B2 (en) 2017-12-05 2021-11-02 Samsung Electronics Co., Ltd. System and method for transition boundaries and distance responsive interfaces in augmented and virtual reality
CN110532840B (zh) * 2018-05-25 2022-05-10 深圳市优必选科技有限公司 一种方形物体的形变识别方法、装置及设备
DE102018121901A1 (de) * 2018-09-07 2020-03-12 Bundesdruckerei Gmbh Anordnung und Verfahren zur optischen Erfassung von Objekten und/oder zu überprüfenden Personen
KR102262521B1 (ko) * 2019-12-10 2021-06-08 한국과학기술연구원 다양한 확장현실 모드의 통합 렌더링 방법 및 그것이 적용된 장치
JPWO2022124326A1 (zh) * 2020-12-11 2022-06-16
WO2024128728A1 (ko) * 2022-12-12 2024-06-20 삼성전자주식회사 임계 거리 내에 포함된 시각적 객체들을 표시하기 위한 전자 장치, 방법, 및 컴퓨터 판독 가능 저장 매체

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130328928A1 (en) * 2012-06-12 2013-12-12 Sony Computer Entertainment Inc. Obstacle avoidance apparatus and obstacle avoidance method
CN103975268A (zh) * 2011-10-07 2014-08-06 谷歌公司 具有附近物体响应的可穿戴计算机
CN104199556A (zh) * 2014-09-22 2014-12-10 联想(北京)有限公司 一种信息处理方法及装置
WO2015092968A1 (en) * 2013-12-19 2015-06-25 Sony Corporation Head-mounted display device and image display method
US20150243079A1 (en) * 2014-02-27 2015-08-27 Lg Electronics Inc. Head mounted display providing closed-view and method of controlling therefor
CN105378596A (zh) * 2013-06-08 2016-03-02 索尼电脑娱乐公司 用于头戴式显示器中在透明模式与非透明模式之间转变的系统和方法
US20160209916A1 (en) * 2015-01-15 2016-07-21 Seiko Epson Corporation Head-mounted display device, method of controlling head-mounted display device, and computer program

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10180572B2 (en) * 2010-02-28 2019-01-15 Microsoft Technology Licensing, Llc AR glasses with event and user action control of external applications
WO2015048905A1 (en) * 2013-10-03 2015-04-09 Sulon Technologies Inc. System and method for incorporating a physical image stream in a head mounted display
US20150312773A1 (en) * 2014-04-29 2015-10-29 Dhaval Joshi Systems and methods for providing site acquisition services
US20150317057A1 (en) * 2014-05-02 2015-11-05 Electronics And Telecommunications Research Institute Navigation apparatus for providing social network service (sns) service based on augmented reality, metadata processor, and metadata processing method in augmented reality navigation system
US9767575B2 (en) * 2014-08-22 2017-09-19 Applied Research Associates, Inc. Techniques for accurate pose estimation in outdoor environments
US20160084661A1 (en) * 2014-09-23 2016-03-24 GM Global Technology Operations LLC Performance driving system and method
KR102317803B1 (ko) * 2015-01-23 2021-10-27 삼성전자주식회사 복수의 디스플레이를 제어하는 전자 장치 및 제어 방법
KR101703412B1 (ko) 2015-02-10 2017-02-17 주식회사 빅솔론 프린터
US20160321940A1 (en) * 2015-04-29 2016-11-03 Ivan Banga Driver Education and Training System and Method for Training Drivers in Simulated Emergencies
US10717406B2 (en) * 2015-10-26 2020-07-21 Active Knowledge Ltd. Autonomous vehicle having an external shock-absorbing energy dissipation padding
US11099631B2 (en) * 2015-11-13 2021-08-24 Andrew R. Basile, JR. Virtual reality system with posture control
US10238962B2 (en) * 2015-12-27 2019-03-26 Spin Master Ltd. System and method for recharging battery in augmented reality game system

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103975268A (zh) * 2011-10-07 2014-08-06 谷歌公司 具有附近物体响应的可穿戴计算机
US20130328928A1 (en) * 2012-06-12 2013-12-12 Sony Computer Entertainment Inc. Obstacle avoidance apparatus and obstacle avoidance method
CN105378596A (zh) * 2013-06-08 2016-03-02 索尼电脑娱乐公司 用于头戴式显示器中在透明模式与非透明模式之间转变的系统和方法
WO2015092968A1 (en) * 2013-12-19 2015-06-25 Sony Corporation Head-mounted display device and image display method
US20150243079A1 (en) * 2014-02-27 2015-08-27 Lg Electronics Inc. Head mounted display providing closed-view and method of controlling therefor
CN104199556A (zh) * 2014-09-22 2014-12-10 联想(北京)有限公司 一种信息处理方法及装置
US20160209916A1 (en) * 2015-01-15 2016-07-21 Seiko Epson Corporation Head-mounted display device, method of controlling head-mounted display device, and computer program

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
WIKIPEDIA: "Google Cardboard", 《HTTPS://EN.WIKIPEDIA.ORG/W/INDEX.PHP?TITLE=GOOGLE_CARDBOARD&OLDID=731212226》 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110225238A (zh) * 2018-03-01 2019-09-10 宏达国际电子股份有限公司 场景重建系统、方法以及非暂态电脑可读取媒体
US10915781B2 (en) 2018-03-01 2021-02-09 Htc Corporation Scene reconstructing system, scene reconstructing method and non-transitory computer-readable medium
CN110225238B (zh) * 2018-03-01 2021-06-01 宏达国际电子股份有限公司 场景重建系统、方法以及非暂态电脑可读取媒介质
CN108415386A (zh) * 2018-03-12 2018-08-17 范业鹏 用于智能车间的增强现实系统及其工作方法
CN112384970A (zh) * 2018-03-28 2021-02-19 云诊断特拉华州股份有限公司 用于时间要求严格的生物医学应用的增强现实系统
CN112236715A (zh) * 2018-06-27 2021-01-15 三星电子株式会社 用于增强现实的装置和方法
CN109343815A (zh) * 2018-09-18 2019-02-15 上海临奇智能科技有限公司 一种虚拟屏幕装置及虚拟屏幕的实现方法
CN116744195A (zh) * 2023-08-10 2023-09-12 苏州清听声学科技有限公司 一种参量阵扬声器及其指向性偏转方法
CN116744195B (zh) * 2023-08-10 2023-10-31 苏州清听声学科技有限公司 一种参量阵扬声器及其指向性偏转方法

Also Published As

Publication number Publication date
KR20180014492A (ko) 2018-02-09
US20180033177A1 (en) 2018-02-01
EP3279771A1 (en) 2018-02-07

Similar Documents

Publication Publication Date Title
CN107678535A (zh) 用于图像显示的方法和支持该方法的电子设备
CN106484085B (zh) 在头戴式显示器中显示真实物体的方法及其头戴式显示器
US10495878B2 (en) Mobile terminal and controlling method thereof
EP3210437B1 (en) Watch type terminal and method for controlling the same
US20180288391A1 (en) Method for capturing virtual space and electronic device using the same
US9092954B2 (en) Wearable haptic device
EP3179290A2 (en) Mobile terminal and method for controlling the same
US20170119307A1 (en) Mobile terminal and method of controlling the same
EP3101882A2 (en) Display device and controlling method thereof
CN109814719B (zh) 一种基于穿戴眼镜的显示信息的方法与设备
EP2987244B1 (en) Mobile terminal and control method for the mobile terminal
EP3503510A1 (en) Mobile terminal
KR102240639B1 (ko) 글래스 타입 단말기 및 그것의 제어 방법
US10424268B2 (en) Mobile terminal and controlling method thereof
US10474892B2 (en) Mobile terminal and control method therefor
EP3306902A1 (en) Mobile terminal
CN104182050B (zh) 头戴式智能设备和具有该头戴式智能设备的投影系统
US20160320839A1 (en) Wearable terminal and system including same
EP3220196B1 (en) Wearable device
KR20180113406A (ko) 가상 공간을 이탈한 컨트롤러의 추적 방법 및 그 전자장치
KR20160149066A (ko) 이동단말기 및 그 제어방법
KR20180113115A (ko) 전자장치 및 이의 동작방법
KR20160029348A (ko) 글래스형 이동 단말기
KR102200045B1 (ko) 와치형 단말기 및 그의 제어방법
US11733789B1 (en) Selectively activating a handheld device to control a user interface displayed by a wearable device

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20180209