CN108513060B - 使用外部电子设备的拍摄方法和支持该方法的电子设备 - Google Patents

使用外部电子设备的拍摄方法和支持该方法的电子设备 Download PDF

Info

Publication number
CN108513060B
CN108513060B CN201810164665.4A CN201810164665A CN108513060B CN 108513060 B CN108513060 B CN 108513060B CN 201810164665 A CN201810164665 A CN 201810164665A CN 108513060 B CN108513060 B CN 108513060B
Authority
CN
China
Prior art keywords
electronic device
image
external electronic
processor
subject
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810164665.4A
Other languages
English (en)
Other versions
CN108513060A (zh
Inventor
陈仁智
姜赫
金兑澔
朴泰建
崔奎哲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN108513060A publication Critical patent/CN108513060A/zh
Application granted granted Critical
Publication of CN108513060B publication Critical patent/CN108513060B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/2224—Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4038—Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/43615—Interfacing a Home Network, e.g. for connecting the client to a plurality of peripherals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means

Abstract

提供了一种使用外部电子设备的拍摄方法以及支持所述拍摄方法的电子设备。所述电子设备包括：通信电路；存储器，被配置为存储实现虚拟现实的包括第一图像的内容；以及处理器，电连接到所述通信电路和所述存储器。所述处理器被配置为：识别所述电子设备附近的第一外部电子设备；确定所述第一外部电子设备是否能够通过使用所述第一外部电子设备来拍摄被摄物；响应于所述第一外部电子设备能够通过使用相机拍摄被摄物的确定结果，通过所述通信电路向所述第一外部电子设备发送命令；从所述第一外部电子设备接收基于所述命令拍摄的第二图像；以及基于所述第一图像和所述第二图像生成第三图像。

Description

使用外部电子设备的拍摄方法和支持该方法的电子设备
相关申请的交叉引用
本申请要求2017年2月28日递交的韩国专利申请No.10-2017-0025953的优先权，将其内容作为参考合并在此。
技术领域
本公开涉及使用外部电子设备的拍摄方法和支持该方法的电子设备。
背景技术
近年来，希望通过虚拟现实(VR)来感觉像体验现实一样的用户增加。虚拟现实是指与现实类似但不是现实并且是通过使用计算机等人工制造的特定环境或情况。用户可以通过实现虚拟现实的内容(例如VR内容)来间接地体验不能直接体验的环境或情况。作为示例，用户可以体验虚拟现实，用户通过VR内容(例如虚拟旅程)感觉好像用户旅行到了特定的站点一样。
同时，积极分发了帮助体验虚拟现实的电子设备。作为示例，安装在用户头部上的头戴式显示器(HMD)设备可以附接到用户的面部表面以输出VR内容，从而可以有助于用户获得与现实类似的空间和时间体验。
提出以上信息作为背景信息仅仅是为了辅助理解本公开。不确定也不断言以上任何内容是否可用作关于本公开的现有技术。
发明内容
根据相关技术的电子设备可能不支持捕获包含实际对象的画面，例如，在通过虚拟现实(VR)内容提供的虚拟现实中捕获包含用户外观的自拍。
本公开的各个方面是为了至少解决上述问题和/或缺点，并且至少提供以下描述的优点。相应地，本公开的一个方面将提供一种用于支持通过使用存在于电子设备附近的外部电子设备中包括的相机来在虚拟现实中进行拍摄的方法以及支持所述方法的电子设备。
根据本公开的一个方面，提供了一种电子设备。所述电子设备包括：通信电路；存储器，被配置为存储实现虚拟现实的包括第一图像的内容；以及处理器，电连接到所述通信电路和所述存储器。所述处理器被配置为：识别所述电子设备附近的第一外部电子设备；确定所述第一外部电子设备是否能够通过使用所述第一外部电子设备的相机来拍摄被摄物；响应于所述第一外部电子设备能够通过使用所述相机拍摄被摄物的确定结果，通过所述通信电路向所述第一外部电子设备发送命令；通过所述通信电路从所述第一外部电子设备接收基于所述命令拍摄的第二图像；以及基于所述第一图像和所述第二图像生成第三图像。
根据本公开的另一方面，提供了一种电子设备的使用外部电子设备的拍摄方法。所述拍摄方法包括：在显示器上输出实现虚拟现实的内容中包括的第一图像；识别所述电子设备附近的第一外部电子设备；确定所述第一外部电子设备是否能够通过使用所述第一外部电子设备的相机来拍摄被摄物；响应于所述第一外部电子设备能够通过使用所述相机拍摄被摄物的确定结果，通过通信电路向所述第一外部电子设备发送命令；通过所述通信电路从所述第一外部电子设备接收基于所述命令拍摄的第二图像；以及基于所述第一图像和所述第二图像生成第三图像。
本公开可以通过支持在虚拟现实中进行拍摄(捕获自拍)而使得用户感觉到好像用户在实际旅行时捕获画面一样。
此外，本公开可以提供直接或间接识别的各种效果。
通过以下结合附图公开了本公开各实施例的详细描述，本公开的其他方面、优点和显著特征对于本领域技术人员将变得清楚明白。
附图说明
根据结合附图的以下描述，本公开的特定实施例的上述和其他方面、特征以及优点将更清楚，在附图中：
图1是根据本公开实施例的提供虚拟现实(VR)环境的电子设备的框图：
图2是根据本公开实施例的包括相机的电子设备的框图；
图3是示出了根据本公开实施例的使用电子设备管理与拍摄方法有关的电子设备的方法的视图；
图4是示出了根据本公开实施例的用于提供用于使用外部电子设备进行拍摄的用户界面的方法的视图；
图5是示出了根据本公开实施例的用于在VR环境中进行拍摄的图像处理方法的视图；
图6是示出了根据本公开实施例的用于在VR环境中进行拍摄的另一图像处理方法的视图；
图7是根据本公开实施例的VR环境中用于多个用户的拍摄方法的视图；
图8是示出了根据本公开实施例的实时提供的VR环境中的拍摄方法的视图；
图9是示出了根据本公开实施例的用于基于关于周围环境的信息控制外部电子设备的方法的视图；
图10是根据本公开实施例的提供用于使用外部电子设备进行拍摄的用户界面的屏幕的视图；
图11是根据本公开实施例的在存在可以拍摄被摄物的多个外部电子设备时提供用户界面的屏幕的视图；
图12是根据本公开实施例的用于说明用于设置图像的背景的方法的屏幕的视图；
图13是根据本公开实施例的用于说明用于处理针对被摄物的捕获图像的方法的屏幕的视图；
图14是根据本公开实施例的用于说明用于通过使用外部电子设备设置图像的背景的方法的屏幕的视图；
图15是根据本公开实施例的用于说明用于基于关于周围环境的信息控制外部电子设备的方法的屏幕的视图；
图16是根据本公开实施例的用于说明实时提供的VR环境中的拍摄方法的屏幕的视图；
图17示出了根据本公开实施例的网络环境中的电子设备；
图18是示出了根据本公开实施例的电子设备的框图；以及
图19是示出了根据本公开实施例的程序模块的框图。
应注意，在整个附图中，相似的附图标记用于描述相同或相似的元件、特征和结构。
具体实施方式
提供参考附图的以下描述用于帮助全面理解由权利要求及其等同物限定的本公开的多种实施例。以下描述包括各种具体细节以帮助理解，但这些具体细节应被视为仅仅是示例性的。因此，本领域普通技术人员将认识到，在不脱离本公开的范围的情况下，可以对这里描述的各实施例进行各种改变和修改。另外，为了清楚和简洁起见，可以省略对已知功能和结构的描述。
以下描述和权利要求中使用的术语和词语不限于字面含义，而是仅由发明人用来实现对本公开的清楚一致的理解。因此，本领域技术人员应该清楚，提供以下对本公开的各实施例的描述仅为了说明的目的，而不用于限制由所附权利要求及其等同物限定的本公开的目的。
应当理解的是，除非上下文中另有清楚指示，否则单数形式“一”、“一个”和“所述”包括复数指示物。因此，例如，对“组件表面”的引用包括对这样的表面中的一个或多个的引用。
本文中使用的术语“包括”、“包含”和“具有”、或“可以包括”、或“可以包含”和“可以具有”表示所公开的功能、操作或元件的存在，但是不排除其他功能、操作或元件。
例如，表述“A或B”或“A和/或B中至少一项”可以包括：A和B，A，或B。例如，表述“A或B”或“A和/或B中至少一项”可以表示：(1)至少一个A，(2)至少一个B，或(3)至少一个A和至少一个B二者。
本文使用的诸如“第1”、“第2”、“第一”、“第二”等术语可以用于修饰本公开的各实施例中的各种不同元件，但并非意在限制所述元件。例如，“第一用户设备”和“第二用户设备”可以指示不同的用户设备，而不管顺序或重要性如何。例如，在不脱离本公开的范围的情况下，第一组件可以被称为第二组件，反之亦然。
在本公开的各实施例中，应认识到：当将组件(例如，第一组件)称作“与另一组件(例如，第二组件)(可操作性地或通信地)耦接/被(可操作性地或通信地)耦接到”或“连接到”另一组件(例如，第二组件)时，该组件可以直接连接到该另一组件，或可以通过其他组件(例如，第三组件)连接。在本公开的各实施例中，应认识到：当将组件(例如，第一组件)称作“直接连接到”或“直接访问”另一组件(例如，第二组件)时，在该组件(例如，第一组件)和该另一组件(例如，第二组件)之间不存在其他组件(例如，第三组件)。
在本公开的各实施例中使用的表述“(被)配置为”根据情形可以与例如“适合于”、“具有...的能力”、“(被)设计为”、“适于”、“用于”或“能够...”互换使用。术语“(被)配置为”并不一定意味着在硬件方面“(被)专门设计为”。相反，在一些情形下表述“(被)配置为..的设备”可以指示该设备和另一设备或部件“能够...”。例如，表述“被配置为执行A、B和C的处理器”可以指示用于执行对应操作的专用处理器(例如，嵌入式处理器)、或者用于通过执行存储在存储设备中的至少一个软件程序来执行对应操作的通用处理器(例如，中央处理单元(CPU)或应用处理器(AP))。
在本公开的各实施例中使用的术语用于描述本公开的特定实施例，而不旨在限制其他实施例的范围。除非在上下文中具有明显不同的含义，否则单数形式的术语可以包括复数形式。否则，本文使用的所有术语可以具有与本领域技术人员通常所理解的含义相同的含义。通常，应将词典中定义的术语视为与相关技术的语境含义具有相同含义，并且除非本文清楚地定义，否则不应该不同地对其进行理解，或将其理解为过于正式的含义。在任意情况下，即使在本说明书中定义的术语也不应被解释为排除本公开的实施例。
根据本公开各实施例的电子设备可以包括以下至少一种：智能电话、平板个人计算机(PC)、移动电话、视频电话、电子书阅读器、台式PC、膝上型PC、上网本计算机、工作站、服务器、个人数字助理(PDA)、便携式多媒体播放器(PMP)、运动画面专家组阶段1或阶段2(MPEG-1或MPEG-2)音频层3(MP3)播放器、移动医疗设备、相机或可穿戴设备。可穿戴设备可以包括以下至少一种：饰品类型设备(例如，手表、戒指、手环、脚环、项链、眼镜、隐形眼镜、头戴式设备(HMD))、衣料或服饰集成类型设备(例如，电子衣服)、身体附接类型设备(例如，皮肤贴或纹身)或生物植入类型设备(例如，可植入电路)。
在本公开的一些实施例中，电子设备可以是家用电器。智能家电可以包括以下至少一种：例如，电视(TV)、数字视频/多功能盘(DVD)播放器、音频设备、冰箱、空调、吸尘器、烤箱、微波炉、洗衣机、空气净化器、机顶盒、家用自动控制面板、安全控制面板、TV盒(例如，Samsung HomeSyncTM、Apple TVTM或Google TVTM)、游戏机(例如，XboxTM和PlayStationTM)、电子词典、电子钥匙、录像机和电子相框。
在本公开的其他实施例中，电子设备可以包括以下至少一种：各种医疗设备(例如，各种便携医疗测量设备(例如，血糖测量设备、心率测量设备、血压测量设备、体温测量设备等)、磁共振造影(MRA)机、磁共振成像(MRI)机、计算机断层扫描(CT)机、扫描仪、超声设备等)、导航设备、全球导航卫星系统(GNSS)、事件数据记录器(EDR)、飞行数据记录器(FDR)、车载信息娱乐设备、船用电子装备(例如，导航系统、陀螺仪等)、航空装备、安全设备、车辆音响主机、工业或家用机器人、自动柜员机(ATM)、零售店的收款机(POS)设备或者物联网(IoT)设备(例如，灯泡、各种传感器、电表或燃气表、洒水设备、火警报警器、自动调温器、街灯、烤面包机、锻炼装备、热水壶、加热器、锅炉等)。
根据本公开的各实施例，电子设备可以包括以下至少一种：家具或建筑物/结构的一部分、电子公告板、电子签名接收设备、投影仪或测量仪器(例如，水表、电表、燃气表、无线电波表等)。电子设备可以是上述设备中的一种或多种组合。根据本公开各实施例的电子设备可以是柔性设备。根据本公开实施例的电子设备不限于上述设备，并且可以包括根据新技术发展的新型电子设备。
在下文中，将参照附图来更详细地描述根据本公开各实施例的电子设备。本文使用的术语“用户”可以指代使用电子设备的人，或者可以指代使用电子设备的设备(例如，人工智能电子设备)。
图1是根据本公开实施例的提供虚拟现实(VR)环境的电子设备的框图。
通过执行实现虚拟现实的VR内容，电子设备100可以允许用户间接地体验用户不能直接体验的环境或情况。此外，电子设备100可以支持通过使用安装在存在于电子设备100附近的外部电子设备(例如，智能电话)中的相机来在虚拟现实中进行拍摄。例如，电子设备100可以包括可以执行VR内容并且可以连接到包括相机的外部电子设备的头戴式显示设备(在下文中，称为HMD设备)。
参照图1，电子设备100可以包括处理器110(例如，微控制器单元(MCU))、通信模块120(或通信电路(例如收发器))、输入设备130、传感器模块140、电源管理模块150、电池151、眼睛追踪器160、电机170、可调整光学单元或光学调整单元180(或透镜组件)以及存储器190。然而，电子设备100的配置不限于此。根据各实施例，可以不包括电子设备100中的至少一个元件，或者还可以包括至少一个其他元件。根据实施例，电子设备100还可以包括显示器，并且可以设置有框架，其中外部显示设备(例如，智能电话)可以可拆卸地安置在该框架中。
处理器110可以执行与电子设备100的至少一个其他元件的控制和/或通信相关的操作或数据处理。举例来讲，处理器110可以驱动操作系统(OS)或嵌入式软件(S/W)程序以控制连接到处理器110的多个硬件元件。处理器110可以将从至少一个其他组件(例如，非易失性存储器)接收到的指令或数据加载在易失性存储器中，以便处理所加载的指令或数据，并且可以将各种类型的数据存储在非易失性存储器中。根据实施例，处理器110可以在易失性存储器中加载与存储在存储器190中的VR内容的执行和使用外部电子设备进行拍摄相关的命令或数据，并且可以根据特定程序例程处理该命令或数据。
根据实施例，处理器110可以执行存储在存储器190中的VR内容。例如，处理器110可以在屏幕上输出包括在VR内容中的VR图像。根据实施例，处理器110可以通过接近传感器145确定用户是否佩戴电子设备100，并且可以在用户佩戴电子设备100时自动地或通过用户输入来执行VR内容。例如，处理器110可以执行使得用户能够虚拟旅行的虚拟旅游内容。
根据实施例，处理器110可以基于通信模块120搜索电子设备100附近的外部电子设备。作为示例，处理器110可以基于通信模块120通过使用服务发现协议(SDP)将服务发现请求传递到外部电子设备。此外，处理器110可以从外部电子设备接收对该请求的响应，并且可以基于响应来确定外部电子设备的服务容量或设备容量。通过这一点，处理器110可以从电子设备100附近的外部电子设备中确定包括相机的外部电子设备，并且可以从包括相机的外部电子设备中确定可以拍摄画面的外部电子设备。
根据实施例，处理器110可以通过通信模块120从外部电子设备获得捕获图像。例如，捕获图像可以包括通过外部电子设备中包括的相机获得的被摄物(例如，佩戴电子设备100的用户)的图像。
根据实施例，处理器110可以分析捕获图像，并且可以从捕获图像中提取与被摄物(例如，用户)对应的对象。例如，处理器110可以通过使用对象的外围来对构成图像的对象所占据的区域进行分类，并且可以从对象中仅提取与被摄物对应的对象。
根据实施例，处理器110可以对构成捕获图像的对象进行分类。例如，处理器110可以确定对应的对象是人类、动物还是物体，并且通过确定人体的一部分(例如，脸部)、动物的种类或物体的种类等来将对象进一步分类。此外，处理器110可以根据捕获图像确定对象所处的位置(例如，坐标信息)。
根据实施例，处理器110可以执行以下功能：用于预先识别对象的预处理功能，该功能改变图像以使得图像可以被良好地识别；识别功能，该功能识别对象；以及后处理功能，该功能增加通过识别功能处理的数据的识别准确度。预处理功能可以包括诸如去除噪声、分段、尺寸归一化、边缘检测、颜色恒常算法、区域增长或边界线追踪等方案。识别功能可以包括诸如模式匹配、模板匹配、人工智能、神经网络、模糊算法、决策树、遗传算法、PCA、SIFT、SURF或深度学习等方案。举例来讲，后处理功能可以包括基于通过识别功能处理的数据当准确度等于或小于预定等级时向用户建议候选者并接收选择的方案或者基于另一种算法或上下文减小候选者的组的方案。
在图像分析方案中，划分图像的方案可以包括诸如区域增长、拆分和合并或图形分割等方案。区域增长以及拆分和合并是将图像分成小区域、计算相邻区域的色调或亮度差异以及合并相似区域的方案，并可以将图像分割成最终剩下的区域。同时，这两种方案的不同之处在于，前者是一个从小区域开始的合并区域的方案(自下而上的方案)，后者是一个从大区域开始的寻找区域的方案(自上而下的方案)。上述两种方案在相对较短的时间内获得划分结果。相反地，图形分割是将图像的像素指定为节点并使用其中通过具有权重的边缘连接相邻像素的像素差值的图形的方案。图形分割可以划分图像，使得预先定义一个图形的能量函数可以变为最小。在这种情况下，根据所使用的能量函数的种类，图形分割可以被划分成几个方案。在图形分割中，必须指定必须包括在对象中或不能包括在对象中的区域，并且根据能量函数的种类或图像的大小，计算量可能很大。然而，在图形分割中，划分结果相对较好，并且可以容易地处理各种形式的用户输入。另外，可以使用用于识别对象的各种方案。例如，可以使用抓取(grab cut)算法或分水岭算法。例如，抓取算法基于部分标记，并且可以当在整个图像上划分全景对象和背景时使用。分水岭算法是用于在将图像中的一组像素视为二维地形的同时分析高度的方法，并且可以基于图像的像素之间的亮度的相似性在具有较多噪声的环境中划分对象时使用。
根据实施例，处理器110可以添加从拍摄图像中提取的与被摄物对应的对象，并且可以将所述对象添加到VR图像。例如，处理器110可以将与被摄物对应的对象合并(或并入或合成)到VR图像中(与VR图像合并)。例如，合并方案可以包括阿尔法(alpha)混合或羽化。阿尔法混合是通过将指示透明度的阿尔法值添加到对应于图像的图像数据来表达透射图像的方案。羽化是通过将数据值混合在其中两个数据集彼此重叠的区域中而将数据值从一个数据值逐渐改变为另一个数据值的方案。然而，合并方案不限于此。根据各实施例，合并方案还可以包括金字塔混合、双波段混合或梯度域混合。通过合并方案，处理器110可以生成虚拟捕获的图像(在下文中，被称为虚拟捕获图像)，并且在所述图像中，被摄物看起来好像存在于实现VR内容的虚拟现实中。
根据实施例，处理器110可以通过在合并VR图像和对象时校正对象来合并VR图像和对象。例如，当对象对应于佩戴电子设备100的用户时，当用户佩戴电子设备100时，看起来好像用户实际上并不处于虚拟环境(或VR环境)中。因此，处理器110可以校正其中安装了电子设备100的对象的一部分。作为示例，处理器110可以通过与电子设备100的形状对应的另一附件(例如，太阳镜)来替换电子设备100。此外，处理器110可以基于存储在存储器190中的用户图像来校正对象。
根据实施例，处理器110可以基于通过传感器模块140获得的感测数据来改变VR图像的视场(FOV)。作为示例，处理器110可以基于感测数据来确定电子设备100的运动，并且可以基于运动的方向和变化来改变VR图像的FOV。
根据实施例，处理器110可以基于VR图像的FOV设置虚拟捕获图像的背景。作为示例，处理器110可以将在VR图像的当前屏幕区域中输出的图像设置为虚拟捕获图像的背景。
根据实施例，处理器110可以基于通过传感器模块140获得的感测数据或从通过通信模块120连接的外部电子设备接收的感测数据中的至少一个来改变虚拟捕获图像的背景的结构。作为示例，处理器110可以基于感测数据来确定电子设备100的运动和包括相机的外部电子设备的运动中的至少一个，并且可以基于运动的方向和变化来改变虚拟捕获图像的背景的结构。在一些实施例中，处理器110可以基于通过输入设备130接收的用户输入来改变虚拟捕获图像的背景的结构。
根据实施例，处理器110可以基于通过传感器模块140获得的感测数据或从通过通信模块120连接的外部电子设备接收的感测数据中的至少一个来改变被摄物的拍摄角度。作为示例，处理器110可以基于感测数据来确定电子设备100的运动和包括相机的外部电子设备的运动中的至少一个，并且可以基于运动的方向和变化来改变被摄物的拍摄角度。
根据实施例，处理器110可以在屏幕上输出通过合并VR图像和与被摄物对应的对象而生成的图像。作为另一示例，处理器110可以在存储器190中存储所生成的图像。作为另一示例，处理器110可以通过通信模块120将所生成的图像发送到外部电子设备(例如，内容共享服务器)。
通信模块120可以通过使用有线和/或无线通信连接电子设备100和外部电子设备来发送和接收数据。根据实施例，通信模块120可以包括通用串行总线(USB)模块121、Wi-Fi模块123、蓝牙(BT)模块125、近场通信(NFC)模块127或全球定位系统(GPS)模块129。根据任何实施例，Wi-Fi模块123、BT模块125、NFC模块127或GPS模块129中的至少一些(例如，两个或更多个)可以被包括在一个集成芯片(IC)或IC封装中。
输入设备130可以包括触摸板131或按钮133。举例来讲，触摸板131可以以电容方案、电阻方案、红外线方案和声波方案中的至少一种来识别触摸输入。此外，触控板131还可以包括控制电路。电容触摸板可以识别物理接触或接近。触摸板131还可以包括触觉层。在这种情况下，触摸板131可以向用户提供触觉反应。按钮133可以包括例如物理按钮、光学按键或键区。
传感器模块140可以测量物理量或者感测电子设备100的操作状态，并且可以将测量或感测的信息转换为电信号。举例来讲，传感器模块140可以包括加速度传感器141、陀螺仪传感器142、地磁传感器143、磁传感器144、接近传感器145、手势传感器146、握持传感器147或生物计量传感器148中的至少一个。根据实施例，可以通过使用加速度传感器141、陀螺仪传感器142或地磁传感器143中的至少一个来检测电子设备100的运动，以及可以基于电子设备100的运动来检测佩戴电子设备100的用户的头部的运动。根据实施例，通过使用接近传感器145或握持传感器147，可以检测是否安装了电子设备100(例如，头戴式显示器(HMD)设备100)。根据实施例，传感器模块140还可以包括红外(IR)传感器、压力传感器或触摸传感器，以通过检测红外线识别、压力识别、电容(或介电常数)的变化率中的至少一个来检测用户是否佩戴HMD设备100。
手势传感器146可以检测用户的手或手指的运动，以将所述运动接收为电子设备100的输入操作。另外地或备选地，传感器模块140可以例如通过使用生物计量识别传感器(例如，电子鼻传感器、肌电图(EMG)传感器、脑电图(EEG)传感器、心电图(ECG)传感器、虹膜传感器和/或指纹传感器)来识别用户的生物计量信息。
传感器模块140还可以包括用于控制包括在其中的一个或多个传感器的控制电路。在一些实施例中，电子设备100还可以包括被配置为控制传感器模块140的处理器，作为处理器110的一部分或独立于处理器110，并可以在处理器110处于睡眠状态期间控制传感器模块140。根据实施例，传感器模块140的至少一些元件可以被包括在可附接到电子设备100或可从电子设备100拆卸的外部电子设备中。
电源管理模块150可以管理例如电子设备100的电力。根据本公开的实施例，电源管理模块150可以包括电源管理集成电路(PMIC)、充电器集成电路(IC)、或电池或燃料表。PMIC可以具有有线和/或无线充电方案。无线充电方法的示例可以包括例如磁谐振方法、磁感应方法、电磁波方法等。还可以包括用于无线充电的附加电路(例如，线圈回路、谐振电路、整流器等)。电池表可以测量例如电池151的剩余量以及在充电期间的电压、电流或温度。例如，电池151可以包括可再充电电池和/或太阳能电池。在一些实施例中，如果外部电子设备连接到电子设备100，则电源管理模块150可以使用包括在外部电子设备中的电池。此外，电源管理模块150可以管理从外部电源供应的电力。
举例来讲，眼睛追踪器160可以通过使用电眼动图传感器(例如，眼动电图传感器)、线圈系统、双浦肯野系统、亮瞳孔系统或暗瞳孔系统中的至少一个来追踪用户的眼睛。此外，眼睛追踪器160还可以包括用于追踪眼睛的微型相机。
电机170可以将电信号转换为机械振动，并可以产生振动或触觉效果。
光学调整单元180可以测量用户的瞳孔间距离(IPD)，使得用户可以观看适合他或她的视线的图像，以调整镜头的距离和外部电子设备的显示器的位置，所述外部电子设备可以附接到电子设备100或从电子设备100拆卸。
存储器190可以包括内部存储器或外部存储器。例如，存储器190可以存储与电子设备100的至少一个其他组件相关的命令或数据。根据实施例，存储器190可以存储软件和/或程序。例如，存储器190可以存储可以执行VR内容等的应用。此外，存储器190可以存储VR内容、从外部电子设备接收的捕获图像或者虚拟捕获图像。
根据各实施例，当包括显示器的外部电子设备被安装在要被操作的电子设备100上时，电子设备100可以通过使用外部电子设备的后置相机来提供透视模式。作为实施例，在用于提供透视模式的方法中，如果按下透视模式切换按钮，则可以执行外部电子设备的后置相机。然后，可以以画中画(PIP)形式在现有VR屏幕的区域中显示后置相机的预览屏幕，并且可以将VR屏幕切换到背景，并且可以将相机的预览屏幕扩展到整个屏幕以进行显示。通过这一点，用户可以在体验外部虚拟环境时通过图像识别周围环境(如果需要的话)。根据另一实施例，可以将单独的相机模块添加到其上未安装外部电子设备的单机类型电子设备100，并且可以通过使用该电子设备来提供透视模式。
图2是根据本公开实施例的包括相机的电子设备的框图。
参照图2，与外部电子设备(例如，图1的电子设备100)相邻并且可以将被摄物的捕获图像提供给外部电子设备的电子设备200可以包括处理器210(例如，至少一个处理器)、通信模块220(例如，收发器)、传感器模块230、输入设备240、相机模块250和存储器260。然而，电子设备200的配置不限于此。根据各实施例，可以不包括电子设备200中的至少一个元件，或者还可以包括至少一个其他元件。
例如，处理器210可以执行与电子设备200的至少一个其他组件的控制和/或通信相关的操作或数据处理。处理器210可以通过驱动操作系统(OS)或应用程序来控制与处理器210相连的多个硬件或软件组件，并执行各种数据处理和计算。
处理器210可以包括中央处理单元(CPU)、应用处理器(AP)或通信处理器(CP)中的一项或多项。此外，处理器210还可以包括图形处理单元(GPU)和/或图像信号处理器(ISP)。根据实施例，处理器210可以由片上系统(SoC)来实现。
根据实施例，处理器210可以电连接到包括在相机模块250中的镜头、光圈、图像传感器或快门，以控制与相机模块250相关的功能。例如，处理器210可以控制诸如自动对焦、自动曝光、自定义白平衡、放大、缩小、拍摄、连续拍摄、定时拍摄、闪光灯开/关或滤波等功能。
根据实施例，处理器210可以将捕获图像存储在内部存储器或相机模块250中包括的存储器260中。此外，处理器210可以通过通信模块220将捕获图像发送到外部电子设备(例如，图1的电子设备100)。在一些实施例中，电子设备200还可以包括显示器，并且处理器210可以在显示器上输出捕获图像。例如，处理器210可以提供存储在内部存储器中的图像，作为预览或实时视图。在一些实施例中，处理器210可以在内部存储器中存储通过操纵快门捕获的图像，并且可以在通过输入设备240进行特定用户输入时或根据设置信息将图像存储在存储器260中。
根据实施例，处理器210可以基于通过传感器模块230获得的感测数据(例如，运动信息)来生成将被传递到外部电子设备的至少一个命令(或信号)。此外，处理器210可以通过使用通信模块220将基于通过相机模块250捕获的图像或感测数据生成的命令传递到外部电子设备。
通信模块220例如可以设置电子设备200(例如，电子设备200)和外部电子设备之间的通信。例如，通信模块220可以通过无线或有线通信连接至网络以与外部电子设备通信。例如，通信模块220可以包括蜂窝模块、BT模块或Wi-Fi模块。
传感器模块230可以包括加速度传感器、陀螺仪传感器、接近传感器或生物计量传感器。传感器模块230可以通过使用加速度传感器或陀螺仪传感器中的至少一个来检测电子设备200的运动。
输入设备240可以包括至少一个功能按钮。此外，输入设备240可以包括触摸板，并且可以包括接收语音输入的麦克风。
相机模块250可以捕获静止图像或视频。根据实施例，相机模块250可以包括成像元件。例如，成像元件可以包括以下项中的至少一个：镜头，被配置为接收被摄物的图像光以形成图像；光圈，被配置为调整穿过镜头的光量；快门，被配置为打开和关闭光圈以使得图像传感器可以通过穿过镜头的光而暴露特定时间段；图像传感器，被配置为接收在镜头中形成的图像作为光学信号；以及内部存储器。内部存储器可以临时存储捕获图像。根据实施例，内部存储器可以在快门被操纵之前存储通过图像传感器捕获的图像。
存储器260可以包括易失性和/或非易失性存储器。例如，存储器260可以存储与电子设备200的至少一个其他组件相关的命令或数据。根据实施例，存储器260可以存储软件和/或程序。例如，存储器260可以存储支持通过使用相机模块250的拍摄功能的应用(例如，相机应用)。作为另一示例，存储器260可以存储通过相机模块250捕获的图像。
如上所述，根据各实施例，电子设备(例如，电子设备100)可以包括通信电路(例如，通信模块120)、被配置为存储实现虚拟现实的包括第一图像的内容的存储器(例如，存储器190)以及电连接到通信电路和存储器的处理器(例如，处理器110)。处理器可以被配置为：识别电子设备附近的第一外部电子设备(例如，电子设备200)；确定第一外部电子设备是否能够通过使用第一外部电子设备的相机(例如，相机模块250)来拍摄被摄物；响应于第一外部电子设备能够通过使用相机拍摄被摄物的确定结果，通过通信电路向第一外部电子设备发送命令；通过通信电路从第一外部电子设备接收基于所述命令拍摄的第二图像；以及基于第一图像和第二图像生成第三图像。
根据各实施例，处理器还可以被配置为：在电子设备中包括的显示器或可拆卸地连接到电子设备的显示设备上输出第一图像、第二图像和第三图像中的至少一个。
根据各实施例，第二图像可以包括通过拍摄电子设备的用户而获得的图像。
根据各实施例，处理器可以被配置为：提取第二图像中包括的与被摄物对应的对象，并且合并第一图像的至少一部分和该对象以生成第三图像。
根据各实施例，处理器还可以被配置为校正该对象的部分区域。
根据各实施例，处理器可以被配置为：基于通过包括在电子设备中的第一传感器模块获得的第一感测数据、通过包括在第一外部电子设备中的第二传感器模块获得的第二感测数据和用户输入中的至少一个，选择第一图像的至少一部分；以及在生成第三图像时使用第一图像的所选择的至少一部分。
根据各实施例，处理器可以被配置为：基于通过包括在电子设备中的第一传感器模块获得的第一感测数据和通过包括在第一外部电子设备中的第二传感器模块获得的第二感测数据中的至少一个，改变第二图像的被摄物的拍摄角度。
根据各实施例，处理器可以被配置为：获得电子设备和第一外部电子设备中的至少一个的周围环境信息；基于所获得的周围环境信息，确定是否需要用于拍摄的外部光源；确定是否存在能够用作外部光源的第二外部电子设备；以及响应于存在第二外部电子设备的确定结果，控制第二外部电子设备。
根据各实施例，处理器可以被配置为：响应于存在第二外部电子设备的确定结果，提供界面，以使得第一外部电子设备或在电子设备附近且能够拍摄被摄物的第二外部电子设备被选择；以及响应于选择第一外部电子设备或第二外部电子设备，从所选择的外部电子设备接收第二图像。
根据各实施例，处理器可以被配置为：通过通信电路从连接到电子设备的第二外部电子设备接收内容或第一图像。
图3是示出了根据本公开实施例的使用电子设备管理与拍摄方法有关的电子设备的方法的视图。
参照图3，在操作310中，电子设备(例如，电子设备100)可以输出第一图像。例如，处理器110可以通过包括在电子设备中的显示器或外部显示设备来输出第一图像。第一图像可以是包括在VR内容中的VR图像。
在操作320中，电子设备(例如，处理器110)可以识别(或发现)电子设备附近的外部电子设备(例如，电子设备200)。根据实施例，处理器110可以基于通信模块120通过使用服务发现协议(SDP)向外部电子设备传递服务发现请求，并且可以从外部电子设备接收对服务发现请求的响应。
在操作330中，电子设备(例如，处理器110)可以确定是否存在可以拍摄被摄物的外部电子设备。作为示例，处理器110可以基于对服务发现请求的响应来确定外部电子设备的服务容量或设备容量。通过这一点，处理器110可以从电子设备100附近的外部电子设备中确定包括相机(例如，相机模块250)的外部电子设备，并且可以从包括相机的外部电子设备中确定可以拍摄画面的外部电子设备。
当存在可以拍摄被摄物的外部电子设备时，电子设备(例如，处理器110)可以提供用于拍摄的界面。根据实施例，处理器110可以在第一图像的部分区域(例如，右上端区域)中显示通过显示器(或外部显示设备)通知可以拍摄被摄物的外部电子设备的存在的显示对象(例如，图像或图标)。当存在可以拍摄被摄物的多个外部电子设备时，处理器110可以生成与外部电子设备对应的图标，并且可以在第一图像的部分区域中显示图标。此外，处理器110可以在第一图像的部分区域中显示用于通知外部电子设备的存在的显示对象，并且如果生成了用于选择显示对象的用户输入，则可以在第一图像的部分区域中显示与外部电子设备的标识信息对应的显示对象。在这种情况下，处理器110可以根据外部电子设备的特性将图标或显示对象绑定(bind)成组。在一些实施例中，处理器110可以通过语音输出设备(例如，扬声器)输出语音，该语音通知可以拍摄对象的外部电子设备的存在。
根据各实施例，当存在可以拍摄被摄物的多个外部电子设备时，处理器110可以预先通过显示器(或外部显示设备)提供通过包括在外部电子设备中的相机捕获的图像(例如，预览图像)。通过这一点，用户可以识别预览图像并且可以选择具有最佳拍摄结构的外部电子设备。
根据实施例，电子设备(例如，处理器110)可以确定是否通过界面获得了用户输入。作为示例，处理器110可以确定是否获得了用于通知外部电子设备的存在的显示对象或用于选择与外部电子设备对应的图标的用户输入。
在操作340中，电子设备(例如，处理器110)可以通过通信模块(例如，通信模块120)向外部电子设备传递拍摄命令。作为示例，当获得了用户输入时，电子设备(例如，处理器110)可以将拍摄命令传递到所选择的外部电子设备。
在操作360中，电子设备(例如，处理器110)可以从外部电子设备获得第二图像。第二图像可以是通过由包括在外部电子设备中的相机拍摄被摄物(例如，佩戴电子设备的用户)而获得的图像。
在操作370中，电子设备(例如，处理器110)可以通过使用第一图像和第二图像来生成第三图像。第三图像可以是通过合并第一图像和第二图像而获得的图像。例如，第三图像可以是被摄物的虚拟捕获图像，其背景中是VR图像。
根据实施例，处理器110可以从第二图像仅提取对应于被摄物的对象，并且可以将提取的对象合并到第一图像中。根据另一实施例，处理器110可以在第一图像和对象被合并时通过校正对象来合并第一图像和所提取的对象。例如，当被摄物是佩戴电子设备(例如，头戴式显示器(HMD)设备)的用户时，处理器110可以校正对象的安装了电子设备的部分。
根据实施例，处理器110可以在屏幕上输出第三图像。作为另一示例，电子设备可以将第三图像存储在存储器(例如，存储器190)中。作为另一示例，处理器110可以通过通信模块(例如，通信模块120)将第三图像发送到外部电子设备(例如，内容共享服务器)。
图4是示出了根据本公开实施例的用于提供用于使用外部电子设备进行拍摄的用户界面的方法的视图。
参照图4，在操作411中，电子设备410(例如，电子设备100)可以输出图像。作为示例，第一电子设备410(例如，处理器110)可以在显示器上输出包括在VR内容中的VR图像。
在操作412中，第一电子设备410(例如，处理器110)可以通过通信模块(例如，通信模块120)向第二电子设备430(例如，电子设备200)传递服务发现请求。服务发现请求可以是基于服务发现协议(SDP)生成的消息(或信号)种类。
在操作431中，接收到服务发现请求的第二电子设备430(例如，处理器210)可以通过通信模块(例如，通信模块220)向第一电子设备410传递响应(服务发现响应)。服务发现响应也是基于SDP生成的消息(或信号)种类，并且可以包括诸如第二电子设备430的服务容量或设备容量的信息。
在操作413中，接收到服务发现响应的第一电子设备410(例如，处理器110)可以确定第一电子设备410附近的外部电子设备(例如，第二电子设备430)之中存在可以拍摄被摄物的外部电子设备。例如，第一电子设备410(例如，处理器110)可以基于服务发现响应来确定第二电子设备430是否包括相机(例如，相机模块250)或者可以拍摄被摄物。
当存在可以拍摄被摄物的外部电子设备时，在操作414中，第一电子设备410(例如，处理器110)可以显示可以拍摄被摄物的外部电子设备(例如，第二电子设备430)的图标。作为示例，第一电子设备410(例如，处理器110)可以在VR图像的部分区域中显示该图标。在一些实施例中，第一电子设备410(例如，处理器110)可以在VR图像的部分区域中显示用于通知存在可以拍摄被摄物的外部电子设备的显示对象。
如果生成了用于选择图标(或显示对象)的用户输入，则在操作415中，第一电子设备410(例如，处理器110)可以基于用户输入来选择至少一个外部电子设备(例如，第二电子设备430)。在一些实施例中，如果存在可以拍摄被摄物的多个外部电子设备并且生成了用于选择与多个外部电子设备对应的图标中的至少一个图标的用户输入，则第一电子设备410(例如，处理器110)可以选择与所选择的图标对应的所有外部电子设备。
在操作416中，第一电子设备410(例如，处理器110)可以发出针对连接到所选择的至少一个外部电子设备(例如，第二电子设备430)的请求。在操作432中，接收到针对连接的请求的至少一个外部电子设备(例如，第二电子设备430)可以向第一电子设备410发送对针对连接的请求的响应。
在操作417中，接收到响应的第一电子设备410(例如，处理器110)可以提供用于拍摄的界面。作为示例，第一电子设备410(例如，处理器110)可以在VR图像的部分区域中显示以软件方案实现的拍摄按钮。在一些实施例中，第一电子设备410(例如，处理器110)可以通过外部电子设备(例如，第二电子设备430)的图标或用于通知存在可以拍摄被摄物的外部电子设备的显示对象来代替拍摄按钮。
图5是示出了根据本公开实施例的用于在VR环境中进行拍摄的图像处理方法的视图。
参照图5，在操作511中，第一电子设备510(例如，电子设备100)可以启动拍摄功能。举例来说，第一电子设备510(例如，处理器110)可以通过参照图4描述的一系列操作来启动拍摄功能。举例来讲，拍摄功能可以是针对被摄物的虚拟拍摄功能，其背景是VR图像。通过使用虚拟拍摄功能，第一电子设备510(例如，处理器110)可以获得虚拟拍摄图像，通过该虚拟拍摄图像，第一电子设备510的用户感觉好像用户存在于虚拟环境中。
在操作512中，第一电子设备510(例如，处理器110)可以向可以拍摄被摄物的外部电子设备(例如，第二电子设备530(例如，电子设备200))请求预览图像。举例来讲，预览图像可以是用于拍摄第一电子设备510的用户的准备图像。
如果接收到对预览图像的请求，则在操作531中，第二电子设备530(例如，处理器210)可以通过相机(例如，相机模块250)获得预览图像。此外，在操作532中，第二电子设备530(例如，处理器210)可以将所获得的预览图像传递到第一电子设备510。预览图像可以是基于包括在第一电子设备510和第二电子设备530中的通信模块(例如，通信模块120和220)来发送和接收的。
在操作513中，接收到预览图像的第一电子设备510(例如，处理器110)可以为虚拟捕获图像设置背景。作为示例，第一电子设备510(例如，处理器110)可以将在显示器上输出的VR图像的在当前屏幕区域中输出的至少一部分设置为虚拟捕获图像的背景。在一些实施例中，基于用于选择屏幕区域的至少一部分的用户输入，第一电子设备510(例如，处理器110)可以将在所选择的至少一部分区域中输出的图像设置为虚拟捕获图像的背景。
根据实施例，第一电子设备510(例如，处理器110)可以基于通过包括在第一电子设备510中的传感器模块(例如，传感器模块140)获得的感测数据来改变VR图像的视场(FOV)。作为示例，第一电子设备510(例如，处理器110)可以基于感测数据来确定第一电子设备510的运动，并且可以基于运动的方向和变化来改变VR图像的FOV。
根据实施例，即使VR图像的FOV被改变，第一电子设备510(例如，处理器110)也可以不改变曾被设置的背景。根据另一实施例，如果VR图像的FOV被改变，则第一电子设备510(例如，处理器110)可以改变(或重置)背景，使得背景对应于改变后的FOV。在一些实施例中，第一电子设备510(例如，处理器110)可以基于从第二电子设备530接收的感测数据来改变背景的结构。作为示例，第一电子设备510(例如，处理器110)可以基于从第二电子设备530接收的感测数据来确定第二电子设备530的运动，并且可以基于运动的方向和变化来改变背景的结构。根据另一实施例，第一电子设备510(例如，处理器110)可以基于用户输入来改变背景的结构。例如，如果生成了用于移动屏幕的用户输入(例如，轻弹、划动或拖动)，则第一电子设备510(例如，处理器110)可以基于用户输入的方向和移动来改变背景的结构。
在操作514中，第一电子设备510(例如，处理器110)可以为虚拟捕获图像设置被摄物。根据实施例，第一电子设备510(例如，处理器110)可以从接收自第二电子设备530的预览图像中提取特定对象，并且可以将所提取的对象设置为与被摄物对应的对象。作为示例，第一电子设备510(例如，处理器110)可以将第一电子设备510的用户设置为被摄物。在这种情况下，第一电子设备510(例如，处理器110)可以从预览图像中提取与第一电子设备510的用户对应的对象。
根据实施例，第一电子设备510(例如，处理器110)可以基于通过传感器模块(例如，传感器模块140)获得的感测数据或从第二电子设备530接收的感测数据中的至少一个来改变被摄物的拍摄角度。例如，第一电子设备510(例如，处理器110)可以基于通过传感器模块获得的感测数据来确定第一电子设备510的运动，并且可以基于从第二电子设备530接收的感测数据来确定第二电子设备530的运动。此外，第一电子设备510(例如，处理器110)可以基于第一电子设备510的运动的方向和变化以及第二电子设备530的运动的方向和变化来改变被摄物的拍摄角度。
在操作515中，第一电子设备510(例如，处理器110)可以接收拍摄输入。作为示例，第一电子设备510(例如，处理器110)可以通过输入设备(例如，输入设备130)接收用于选择在VR图像中输出的拍摄按钮的用户输入。
如果接收到拍摄输入，则在操作516中，第一电子设备510(例如，处理器110)可以请求来自第二电子设备530的拍摄。作为示例，第一电子设备510(例如，处理器110)可以通过通信模块(例如，通信模块120)向第二电子设备530发送与针对拍摄的请求对应的信号。
如果接收到针对拍摄的请求，则在操作533中，第二电子设备530(例如，处理器210)可以通过使用相机(例如，相机模块250)拍摄被摄物(例如，第一电子设备510的用户)来获得捕获图像。此外，在操作534中，第二电子设备530(例如，处理器210)可以通过通信模块(例如，通信模块220)将所获得的捕获图像传递到第一电子设备510。
如果接收到捕获图像，则在操作517中，第一电子设备510(例如，处理器110)可以通过使用背景和捕获图像来生成虚拟捕获图像。根据实施例，第一电子设备510(例如，处理器110)可以通过将捕获图像的一部分合并到背景中来生成虚拟捕获图像。在一些实施例中，第一电子设备510(例如，处理器110)可以从捕获图像中仅提取与被摄物(例如，第一电子设备510的用户)对应的对象，并且可以将所提取的对象合并到背景中。
根据实施例，第一电子设备510(例如，处理器110)可以在执行操作512之前执行操作513。此外，第一电子设备510(例如，处理器110)可以通过执行操作514在背景中输出与所提取的被摄物对应的对象。
图6是示出了根据本公开实施例的用于在VR环境中进行拍摄的另一图像处理方法的视图。
参照图6，在操作631中，第二电子设备630(例如，电子设备200)可以检测特定运动。例如，特定运动可以包括第二电子设备630的用户(例如，第一电子设备610的用户)举起包括用于捕获自拍的相机(例如，相机模块250)的第二电子设备630的运动。根据实施例，第二电子设备630(例如，处理器210)可以基于通过传感器模块(例如，传感器模块230)获得的感测数据来确定第二电子设备630的运动，并且可以分析运动的模式以检测特定运动。在一些实施例中，作为检测特定运动的替代或在检测特定运动的同时，第二电子设备630(例如，处理器210)可以确定是否生成了用户输入(诸如按钮输入)。
如果检测到特定运动(和/或生成了用户输入)，则在操作632中，第二电子设备630(例如，处理器210)可以执行相机(例如，相机模块250)。根据实施例，当第二电子设备630中包括多个相机时，第二电子设备630(例如，处理器210)可以激活检测到被摄物(例如，佩戴第一电子设备610的用户)的相机并禁用另一相机。此外，在操作633中，第二电子设备630(例如，处理器210)可以通过通信模块(例如，通信模块220)向第一电子设备610(例如，电子设备100)传递拍摄待机通知。例如，第二电子设备630(例如，处理器210)可以通知第一电子设备610能够拍摄被摄物。作为示例，第二电子设备630(例如，处理器210)可以通过通信模块(例如，通信模块220)向第一电子设备610发送与拍摄功能的启动相关的命令(或信号)。
如果接收到拍摄待机通知，则在操作611中，第一电子设备610(例如，处理器110)可以启动拍摄功能。举例来说，第一电子设备610(例如，处理器110)可以通过参照图4描述的一系列操作来启动拍摄功能。
在操作612中，第一电子设备610(例如，处理器110)可以向第二电子设备630请求预览图像。举例来讲，预览图像可以是用于拍摄第一电子设备610的用户的准备图像。
如果接收到对预览图像的请求，则在操作634中，第二电子设备630(例如，处理器210)可以通过相机(例如，相机模块250)获得预览图像。此外，在操作635中，第二电子设备630(例如，处理器210)可以通过通信模块(例如，通信模块220)将所获得的预览图像传递到第一电子设备610。
在操作613中，接收到预览图像的第一电子设备610(例如，处理器110)可以为虚拟捕获图像设置背景。作为示例，第一电子设备610(例如，处理器110)可以将在显示器上输出的VR图像的在当前屏幕区域中输出的至少一部分设置为虚拟捕获图像的背景。在一些实施例中，基于用于选择屏幕区域的至少一部分的用户输入，第一电子设备610(例如，处理器110)可以将在所选择的至少一部分区域中输出的图像设置为虚拟捕获图像的背景。
在操作614中，第一电子设备610(例如，处理器110)可以为虚拟捕获图像设置被摄物。根据实施例，第一电子设备610(例如，处理器110)可以从接收自第二电子设备630的预览图像中提取特定对象，并且可以将所提取的对象设置为与被摄物对应的对象。作为示例，第一电子设备610(例如，处理器110)可以将第一电子设备610的用户设置为被摄物。在这种情况下，第一电子设备610(例如，处理器110)可以从预览图像中提取与第一电子设备610的用户对应的对象。
在操作636中，第二电子设备630(例如，处理器210)可以通过传感器模块(例如，传感器模块230)获得感测数据。作为示例，第二电子设备630(例如，处理器210)可以获得针对第二电子设备630的运动的感测数据。此外，在操作637中，第二电子设备630(例如，处理器210)可以将所获得的感测数据传递到第一电子设备610。
如果接收到感测数据，则在操作615中，第一电子设备610(例如，处理器110)可以基于感测数据来改变虚拟捕获图像的背景。作为示例，第一电子设备610(例如，处理器110)可以通过分析感测数据来确定第二电子设备630的运动，并且可以基于运动的方向和变化来改变背景的结构。在一些实施例中，第一电子设备610(例如，处理器110)可以基于感测数据来改变被摄物的拍摄角度。
在操作638中，第二电子设备630(例如，处理器210)可以接收拍摄输入。作为示例，第二电子设备630(例如，处理器210)可以接收用于选择包括在第二电子设备630中的拍摄按钮(例如，快门)的用户输入。在这种情况下，第二电子设备630(例如，处理器210)可以生成与拍摄输入对应的拍摄命令(或信号)。此外，在操作639中，第二电子设备630(例如，处理器210)可以将生成的拍摄命令传递到第一电子设备610。
如果接收到拍摄命令，则在操作616中，第一电子设备610(例如，处理器110)可以通过使用背景和被摄物来生成虚拟捕获图像。根据实施例，第一电子设备610(例如，处理器110)可以通过将对应于被摄物的对象合并到背景中来生成虚拟捕获图像。
通过上述操作，当如在头戴式显示器(HMD)设备(例如，第一电子设备610)中那样用户难以选择输出VR图像的屏幕时，可以通过包括相机的电子设备(例如，第二电子设备630)接收与拍摄有关的输入。此外，如果通过包括相机的电子设备接收到用户输入，则用户会感觉好像用户实际上捕获了自拍。
图7是根据本公开实施例的VR环境中用于多个用户的拍摄方法的视图。
参照图7，第一用户701和第二用户703可以使用提供相同虚拟环境的内容。例如，第一用户701和第二用户703可以使用相同的VR内容。在一些实施例中，第一用户701和第二用户703可能感觉好像他们存在于相同的虚拟环境中。例如，安装在第一用户701上的第二电子设备730可以从第二电子设备730附近的第一电子设备710获得通过拍摄第一用户701而获得的第一图像，并且可以拍摄被摄物，以及可以从安装在第二用户703上的第三电子设备750获得通过拍摄第二用户703而获得的第二图像。此外，第二电子设备730可以通过将第一图像和第二图像合并到VR内容中包括的VR图像中来生成第三图像，其中在第三图像中，第一用户701和第二用户703处于相同的虚拟环境中。
为了实现上述功能，在操作791中，第二电子设备730和第三电子设备750可以通过服务器790彼此连接。通过服务器790彼此连接的第二电子设备730和第三电子设备750可以向第一用户701和第二用户703提供相同的虚拟环境。
如果第二电子设备730和第三电子设备750彼此连接，则在操作711中，第二电子设备730可以连接到第二电子设备730附近的第一电子设备710并且可以拍摄被摄物。此外，在操作771中，第三电子设备750也可以连接到第三电子设备750附近的第四电子设备770并且可以拍摄被摄物。根据各实施例，操作711和771中的至少一个可以在执行操作791之前执行。
如果第一电子设备710和第二电子设备730彼此连接，则在操作731中，第二电子设备730可以启动拍摄功能。根据实施例，第二电子设备730可以启动自拍捕获功能。作为示例，第二电子设备730可以进行准备，以允许第一用户701具有在虚拟环境中捕获自拍的体验。
在操作733中，第二电子设备730可以通过使用VR图像的至少一部分来设置虚拟捕获图像的背景。根据实施例，第二电子设备730可以基于VR图像的视场(FOV)来设置虚拟捕获图像的背景。作为示例，第二电子设备730可以将在VR图像的当前屏幕区域中输出的图像设置为虚拟捕获图像的背景。在一些实施例中，第二电子设备730可以基于通过传感器模块获得的感测数据或通过输入设备接收的用户输入来改变虚拟捕获图像的背景的结构。
如果虚拟捕获图像的背景被设置，则在操作793中，第二电子设备730可以将拍摄待机通知和设置背景信息传递到第三电子设备750。作为示例，第二电子设备730可以将与拍摄功能的启动相关的命令(或信号)发送到第三电子设备750。此外，第二电子设备730可以将所设置的背景信息与命令一起发送。
如果接收到拍摄待机通知(例如，与拍摄功能的启动相关的命令)，则在操作751中，第三电子设备750可以启动拍摄功能。例如，第三电子设备750可以启动自拍捕获功能。
在操作753中，第三电子设备750可以基于与拍摄待机通知一起接收的背景信息来设置用于捕获自拍的背景。例如，第三电子设备750可以设置虚拟捕获图像的背景，以使得虚拟捕获图像的背景可以与由第二电子设备730设置的背景相同。根据实施例，如果在操作733和753中设置了第二电子设备730和第三电子设备750的背景，则背景可能不会被在操作733和753之后生成的电子设备(例如，第一电子设备710、第二电子设备730、第三电子设备750和第四电子设备770)的运动所改变。
如果背景被完全设置，则在操作795中，第三电子设备750可以将拍摄待机通知传递到第二电子设备730。作为示例，第三电子设备750可以向第二电子设备730发送通知用于拍摄的准备完成的信号。此外，第三电子设备750可以通知第二用户703背景的设置已完成。作为示例，第三电子设备750可以通过显示器输出与通知信息对应的显示对象。作为另一示例，第三电子设备750可以通过语音输出设备(例如，扬声器)输出与通知信息对应的语音。同时，识别到通知信息的第二用户703可以选择拍摄按钮，并且因此，如在操作773中，第四电子设备770可以通过相机获得第二图像。例如，第二图像可以是通过拍摄第二用户703获得的图像。在操作775中，第四电子设备770可以将第二图像传递到第三电子设备750。
如果接收到拍摄待机通知，则第二电子设备730可以向第一用户701通知第二用户703准备拍摄被摄物。作为示例，第二电子设备730可以通过显示器输出与通知信息对应的显示对象。作为另一示例，第二电子设备730可以通过语音输出设备(例如，扬声器)输出与通知信息对应的语音。同时，识别到通知信息的第一用户701可以选择拍摄按钮，并且因此，如在操作713中，第一电子设备710可以通过相机获得第一图像。例如，第一图像可以是通过拍摄第一用户701获得的图像。在操作715中，第一电子设备710可以将第一图像传递到第二电子设备730。
如在操作797中，获得第一图像的第二电子设备730可以将第一图像传递到第三电子设备750，并且获得第二图像的第三电子设备750可以将第二图像传递到第二电子设备730。在一些实施例中，第二电子设备730可以不将第一图像传递到第三电子设备750。
在操作735中，第二电子设备(例如，处理器730)可以通过使用所设置的背景、第一图像和第二图像来生成第三图像。作为示例，第二电子设备730可以从第一图像和第二图像中提取与第一用户701和第二用户703对应的对象，并且可以通过将提取的对象合并到背景中来生成第三图像。在一些实施例中，如果在操作775中从第四电子设备770接收到第二图像，则第三电子设备750可以从第二图像提取与第二用户703对应的对象，并且在操作797中，可以将关于所提取的对象的信息传递到第二电子设备730。在这种情况下，第二电子设备730可以从第一图像提取与第一用户701对应的对象，并且可以通过将所提取的对象和与第二用户703对应的对象合并到背景中来生成第三图像。
在操作799中，第二电子设备730可以将第三图像传递到第三电子设备750。因此，第二电子设备730和第三电子设备750可以获得感觉好像第一用户701和第二用户703在同一虚拟空间中一起被拍摄的第三图像。在一些实施例中，第三电子设备750可以生成第三图像。
图8是示出了根据本公开实施例的实时提供的VR环境中的拍摄方法的视图。
参照图8，第二电子设备830可以获得虚拟捕获的图像，就好像第一用户801存在于第二用户803实际存在的空间中一样。在操作871中，第二电子设备830可以通过服务器870连接到第三电子设备850。在操作851中，第三电子设备850可以获得第二用户803实时捕获的图像，并且可以在操作873中将所获得的图像传递到第二电子设备830。
在操作811中，第二电子设备830可以连接到第二电子设备830附近的第一电子设备810并且可以拍摄被摄物。操作811可以在操作834之前的任何时间执行。例如，操作811可以在操作871之前执行，以及可以在操作833之后执行。
在操作831中，第二电子设备830可以在显示器上输出从第三电子设备850获得的图像。在操作832中，第二电子设备830可以启动拍摄功能。例如，第二电子设备830可以通过参照图4描述的一系列操作来启动拍摄功能。
在操作833中，第二电子设备830可以通过使用从第三电子设备850获得的图像的至少一部分来设置虚拟捕获图像的背景。根据实施例，第二电子设备830可以基于图像的视场(FOV)来设置虚拟捕获图像的背景。作为示例，第二电子设备830可以将在图像的当前屏幕区域中输出的图像设置为虚拟捕获图像的背景。在一些实施例中，第二电子设备830可以基于通过传感器模块获得的感测数据或通过输入设备接收的用户输入来改变虚拟捕获图像的背景的结构。
在操作834中，第二电子设备830可以向第一电子设备810请求预览图像。举例来讲，预览图像可以是用于拍摄第二电子设备830的用户的准备图像。
如果接收到针对预览图像的请求，则在操作813中，第一电子设备810可以通过相机获得预览图像。此外，在操作815中，第一电子设备810可以将获得的预览图像传递到第二电子设备830。
在操作835中，接收到预览图像的第二电子设备830可以为虚拟捕获图像设置被摄物。根据实施例，第二电子设备830可以从接收自第一电子设备810的预览图像中提取特定对象，并且可以将所提取的对象设置为与被摄物对应的对象。作为示例，第二电子设备830可以将第二电子设备830的用户设置为被摄物。在这种情况下，第二电子设备830可以从预览图像中提取与第二电子设备830的用户对应的对象。
在操作836中，第二电子设备830可以接收拍摄输入。作为示例，第二电子设备830可以接收用于选择包括在第二电子设备830中的拍摄按钮(例如，快门)的用户输入。如果接收到拍摄输入，则在操作837中，第二电子设备830可以通过使用背景和被摄物来生成虚拟捕获图像。根据实施例，第二电子设备830可以通过将与被摄物对应的对象合并到背景中来生成虚拟捕获图像。
图9是示出了根据本公开实施例的用于基于关于周围环境的信息控制外部电子设备的方法的视图。
参照图9，在操作910中，电子设备(例如，电子设备100)可以获得关于周围环境的信息。作为示例，电子设备(例如，处理器110)可以通过照度传感器获得照明的强度。
在操作930中，电子设备(例如，处理器110)可以确定是否需要外部光源。作为示例，电子设备(例如，处理器110)可以确定通过照度传感器获得的照明强度是否满足特定值。当照明强度小于特定值时，电子设备(例如，处理器110)可以确定需要外部光源，并且当照明强度不小于特定值时，可以确定不需要外部光源。
当确定需要外部光源时，在操作950中，电子设备(例如，处理器110)可以确定是否存在可以用作光源的外部电子设备。根据实施例，电子设备(例如，处理器110)可以基于通信模块(例如，通信模块120)通过使用服务发现协议(SDP)向电子设备附近的外部电子设备传递服务发现请求，并且可以从外部电子设备接收对服务发现请求的响应。电子设备(例如，处理器110)可以基于对服务发现请求的响应来确定外部电子设备的服务容量或设备容量。通过这一点，电子设备(例如，处理器110)可以确定电子设备附近的外部电子设备中可以发射光的外部电子设备(例如，包括发光二极管(LED)或显示器的电子设备)。
当存在可以用作光源的外部电子设备时，在操作970中，电子设备(例如，处理器110)可以控制外部电子设备。作为示例，电子设备(例如，处理器110)可以在通过相机拍摄被摄物时利用外部电子设备作为光源。
如上所述，根据各实施例，一种电子设备的使用外部电子设备的拍摄方法可以包括：在显示器上输出实现虚拟现实的内容中包括的第一图像；识别电子设备附近的第一外部电子设备；确定第一外部电子设备是否能够通过使用第一外部电子设备的相机来拍摄被摄物；响应于第一外部电子设备能够通过使用所述相机拍摄被摄物的确定结果，通过通信电路向第一外部电子设备发送命令；通过通信电路从第一外部电子设备接收基于所述命令拍摄的第二图像；以及基于第一图像和第二图像生成第三图像。
根据各实施例，拍摄方法还可以包括：在显示器或可拆卸地连接到电子设备的显示设备上输出第三图像。
根据各实施例，接收第二图像可以包括：接收通过拍摄电子设备的用户而获得的图像作为第二图像。
根据各实施例，拍摄方法还可以包括：提取第二图像中包括的与被摄物对应的对象，并且生成第三图像可以包括：通过合并第一图像的至少一部分和所述对象来生成第三图像。
根据各实施例，拍摄方法还可以包括：校正所述对象的部分区域。
根据各实施例，生成第三图像可以包括：基于通过包括在电子设备中的第一传感器模块获得的第一感测数据、通过包括在第一外部电子设备中的第二传感器模块获得的第二感测数据和用户输入中的至少一个，选择第一图像的至少一部分；以及在生成第三图像时使用第一图像的所选择的至少一部分。
根据各实施例，接收第二图像可以包括：基于通过包括在电子设备中的第一传感器模块获得的第一感测数据和通过包括在第一外部电子设备中的第二传感器模块获得的第二感测数据中的至少一个，改变第二图像的被摄物的拍摄角度。
根据各实施例，拍摄方法还可以包括：获得电子设备和第一外部电子设备中的至少一个的周围环境信息；基于所获得的周围环境信息，确定是否需要用于拍摄的外部光源；确定是否存在能够用作外部光源的第二外部电子设备；以及响应于存在第二外部电子设备的确定结果，控制第二外部电子设备。
根据各实施例，拍摄方法还可以包括：响应于存在第二外部电子设备的确定结果，提供界面，以使得第一外部电子设备或在电子设备附近且能够拍摄被摄物的第二外部电子设备被选择；以及响应于选择第一外部电子设备或第二外部电子设备，从所选择的外部电子设备接收第二图像。
根据各实施例，拍摄方法还可以包括：通过通信电路从连接到电子设备的第二外部电子设备接收内容或第一图像。
图10是根据本公开实施例的提供用于使用外部电子设备进行拍摄的用户界面的屏幕的视图。
参照图10，第一电子设备1010(例如，电子设备100)可以在显示器上输出内容中包括的VR图像1011。此外，第一电子设备1010可以识别是否存在位于第一电子设备1010附近并且包括可以拍摄用户1001的相机的外部电子设备。作为示例，第一电子设备1010可以向第二电子设备1030(例如，电子设备200)传递服务发现请求。服务发现请求可以是基于服务发现协议(SDP)生成的消息(或信号)种类。
接收到服务发现请求的第二电子设备1030可以将对服务发现请求的响应(服务发现响应)传递到第一电子设备1010。服务发现响应也是基于SDP生成的消息(或信号)种类，并且可以包括诸如第二电子设备1030的服务容量或设备容量的信息。接收到服务发现响应的第一电子设备1010可以确定第二电子设备1030是否包括相机并且可以拍摄被摄物。
当存在可以拍摄被摄物的外部电子设备时，即当第二电子设备1030可以拍摄被摄物时，第一电子设备1010可以输出显示对象1013，该显示对象1013通知可以通过使用第二电子设备1030拍摄对象。作为示例，第一电子设备1010可以在显示器的输出了VR图像的部分区域(例如，右上端区域)中输出第二电子设备1030的图标1013。
图11是根据本公开实施例的在存在可以拍摄被摄物的多个外部电子设备时提供用户界面的屏幕的视图。
参照图11，当存在可以拍摄被摄物的多个外部电子设备(例如，电子设备200)时，电子设备(例如，电子设备100)可以在显示器1100的部分区域(例如，右上端区域)中输出显示对象1110，该显示对象1110通知存在可以拍摄被摄物的外部电子设备。此外，当生成了用于选择显示对象1110的用户输入1120时，电子设备可以在显示器1100的部分区域(例如，右上端区域)中输出与多个外部电子设备的标识信息对应的显示对象1131、1133和1135。例如，与外部电子设备的标识信息对应的显示对象可以包括与外部电子设备的种类、产品名称或外部电子设备的产品编号对应的文本对象。此外，与外部电子设备的标识信息对应的显示对象可以包括产品图像或外部电子设备的图标。在一些实施例中，电子设备可以根据外部电子设备的特性将与外部电子设备的标识信息对应的显示对象绑定成组1130。
根据各实施例，当存在可以拍摄被摄物的多个外部电子设备时，电子设备可以提供预先捕获的图像(例如，预览图像)。例如，如果生成了用于选择显示对象1110的用户输入1120，则电子设备可以从多个外部电子设备获得预览图像，并且可以在显示器上将所获得的预览图像与外部电子设备的标识信息一起输出。在这种情况下，电子设备可以将显示器的屏幕区域分成多个部分，以使得所获得的预览图像被分类，并且可以在相应的区域中输出外部电子设备的标识信息和从相应的外部电子设备获得的预览图像。此外，响应于用于从划分区域中选择一个区域的用户输入，电子设备可以针对分配给所选区域的外部电子设备选择多个外部电子设备中将被使用的外部电子设备。
图12是根据本公开实施例的用于说明用于设置图像的背景的方法的屏幕的视图。
参照图12，电子设备(例如，电子设备100)可以设置虚拟捕获图像的背景。根据实施例，电子设备可以基于在显示器上输出的VR图像的FOV来设置虚拟捕获图像的背景。例如，电子设备可以将VR图像中在当前屏幕区域1210中输出的图像设置为虚拟捕获图像的背景1230。在一些实施例中，基于用于选择屏幕区域1210的至少一部分的用户输入，电子设备可以将在所选择的至少一部分区域中输出的图像设置为虚拟捕获图像的背景。如在附图中那样，所设置的背景1230可以在屏幕区域1210的一部分处输出。
根据实施例，即使VR图像的视场(FOV)被改变，电子设备也可以不改变已设置的背景1230。例如，即使佩戴电子设备(例如，HMD)的用户在背景1230被设置之后转动头部，虚拟捕获图像的背景1230也可以不改变。作为另一示例，如果VR图像的FOV被改变，则电子设备可以改变(或重置)背景1230，使得背景1230对应于改变后的FOV。例如，电子设备可以基于感测数据来确定电子设备的运动，可以基于运动的方向和变化来改变VR图像的FOV，并且可以改变背景1230的结构，以使得背景1230对应于VR图像的改变后的视角。作为另一示例，电子设备可以基于用户输入来改变背景1230的结构。例如，如果生成了用于移动屏幕的用户输入(例如，轻弹、划动或拖动)，则电子设备可以基于用户输入的方向和移动来改变背景1230的结构。
图13是根据本公开实施例的用于说明用于处理针对被摄物的捕获图像的方法的屏幕的视图。
参照图13，电子设备(例如，电子设备100)可以设置被摄物1350，并且可以通过合并所设置的被摄物1350和背景1310和1330来生成虚拟捕获图像1370。根据实施例，电子设备可以从接收自外部电子设备(例如，电子设备200)的图像中提取特定对象，并且可以将所提取的对象设置为被摄物。此外，电子设备可以通过将被摄物1350合并到背景1330中来生成感觉好像被摄物1350位于背景1330中的虚拟捕获图像1370。
根据实施例，电子设备可以通过在被摄物1350和背景1330被合并时校正被摄物1350来合并被摄物1350和背景1330。例如，当被摄物1350对应于佩戴电子设备的用户时，在用户佩戴着电子设备时，看起来好像用户实际上并不处于虚拟环境(或VR环境)中。因此，电子设备可以校正被摄物1350的安装了电子设备的部分。作为示例，电子设备可以通过与电子设备的形状相对应的另一附件(例如，太阳镜)来替换安装在用户上的电子设备(例如，HMD)。此外，电子设备可以基于存储在存储器中的用户图像来校正被摄物1350。
图14是根据本公开实施例的用于说明用于通过使用外部电子设备设置图像的背景的方法的屏幕的视图。
参照图14，电子设备(例如，电子设备100)可以基于从通过通信模块连接的外部电子设备1400(例如，电子设备200)接收的感测数据来改变虚拟捕获图像的背景的结构。例如，电子设备可以基于感测数据来确定包括相机的外部电子设备1400的运动，并且可以基于外部电子设备1400的运动的方向和变化来改变虚拟捕获图像的背景的结构。
所示的第二状态1403表示电子设备将在当前屏幕区域中输出的图像设置为虚拟捕获图像的背景1430的状态。然后，如在第一状态1401中那样，如果用户举起外部电子设备1400，则电子设备可以通过分析从外部电子设备1400获得的感测数据来确定外部电子设备1400的运动，并且可以基于外部电子设备1400的运动的方向和变化将第一结构的背景1430改变为第二结构的背景1410。类似地，如在第三状态1405中那样，如果用户降低外部电子设备1400，则电子设备可以将第一结构的背景1430改变为第三结构的背景1450。
图15是根据本公开实施例的用于说明用于基于关于周围环境的信息控制外部电子设备的方法的屏幕的视图。
参照图15，当通过使用包括相机的第一外部电子设备1530(例如，第二电子设备200)拍摄被摄体时，电子设备1510(例如，电子设备100)可以确定是否需要外部光源。例如，电子设备1510可以通过照度传感器获得照明强度，并且可以确定所获得的照明强度是否满足特定值。当照明强度小于特定值时，电子设备1510可以确定需要外部光源，并且当需要外部光源时，电子设备1510可以确定是否存在可用作光源的第二外部电子设备1550。
根据实施例，电子设备1510可以基于通信模块通过使用服务发现协议(SDP)向电子设备1510附近的外部电子设备传递服务发现请求，并且可以从外部电子设备接收对服务发现请求的响应。电子设备1510可以基于对服务发现请求的响应来确定外部电子设备的服务容量或设备容量。通过这一点，电子设备1510可以确定电子设备1510附近的第二外部电子设备中可以发射光的第二外部电子设备(例如，包括LED或显示器的电子设备)。
当存在可以用作光源的第二外部电子设备1550时，电子设备1510可以控制第二外部电子设备1550发射光。也就是说，电子设备1510可以利用第二外部电子设备1550作为光源。
图16是根据本公开实施例的用于说明实时提供的VR环境中的拍摄方法的屏幕的视图。
参照图16，第二电子设备1630可以获得虚拟捕获的图像，就好像第二用户1601存在于第一用户1603实际存在的空间中一样。例如，即使第一用户1601和第二用户1603彼此间隔开，通过获得拍摄存在第一用户1601的空间而获得的图像和拍摄第二用户1603而获得的图像以合并所述图像，第二电子设备1630也可以生成感觉好像第二用户1603与第一用户1601一起处于第一用户1601实际存在的空间中的虚拟捕获图像。
第一电子设备1610可以是包括可以拍摄第一用户1601实际存在的空间的相机(例如，360度相机)的设备，并且可以通过服务器1670连接到第二电子设备1630。此外，第一电子设备1610可以通过服务器1670将所捕获的图像传递到第二电子设备1630。
第二电子设备1630可以是安装在第二用户1603上的设备(例如，HMD)，并且可以从第一电子设备1610获得实时捕获的图像。此外，第二电子设备1630可以从位于第二电子设备1630附近并且包括相机的第三电子设备1650(例如，智能电话)获得通过拍摄第二用户1603而获得的图像。
第二电子设备1630可以通过使用从第一电子设备1610获得的图像的至少一部分来设置虚拟捕获图像的背景，并且可以从自第三电子设备1650获得的图像中提取与第二用户1603对应的对象，以设置被摄物。如果设置了背景和被摄物，则第二电子设备1630可以通过合并背景和被摄物来生成虚拟捕获图像。
图17示出了根据本公开实施例的网络环境中的电子设备。
将参照图17来描述根据本公开各实施例的网络环境1700中的电子设备1701。电子设备1701可以包括总线1710、处理器1720(至少一个处理器)、存储器1730、输入/输出接口1750、显示器1760和通信接口1770(例如，收发器)。在本公开的各实施例中，可以省略上述元件中的至少一个，或可以向电子设备1701添加另一元件。
总线1710可以包括用于将上述元件1710至1770彼此连接并在上述元件之间传送通信(例如，控制消息和/或数据)的电路。
处理器1720可以包括中央处理单元(CPU)、应用处理器(AP)或通信处理器(CP)中的至少一个。处理器1720可以执行与电子设备1701的其他元件中的至少一个的通信和/或控制相关的操作或数据处理。
存储器1730可以包括易失性存储器和/或非易失性存储器。存储器1730可以存储与电子设备1701的其他元件中的至少一个相关的指令或数据。根据本公开的实施例，存储器1730可以存储软件和/或程序1740。程序1740可以包括例如内核1741、中间件1743、应用编程接口(API)1745和/或应用程序(或应用)1747。内核1741、中间件1743或API 1745的至少一部分可以被称为操作系统(OS)。
内核1741可以控制或管理用于执行其他程序(例如，中间件1743、API 1745或应用程序1747)的操作或功能的系统资源(例如，总线1710、处理器1720、存储器1730等)。此外，内核1741可以提供接口，该接口允许中间件1743、API 1745或应用程序1747访问电子设备1701的各个元件以便控制或管理系统资源。
中间件1743可以起到中介的作用，使得API 1745或应用程序1747与内核1741通信并交换数据。
此外，中间件1743可以根据优先级顺序来处理从应用程序1747接收到的一个或多个任务请求。例如，中间件1743可以向至少一个应用程序1747分配使用电子设备1701的系统资源(例如，总线1710、处理器1720、存储器1730等)的优先级。例如，中间件1743可以根据向至少一个应用分配的优先级来处理一个或多个任务请求，从而对该一个或多个任务请求执行调度或负载均衡。
作为允许应用1747控制由内核1741或中间件1743提供的功能的接口，API 1745可以包括例如至少一个接口或功能(例如，指令)，以进行文件控制、窗口控制、图像处理、字符控制等。
输入/输出接口1750可以用于向电子设备1701的其他元件传送从用户或其他外部设备输入的指令或数据。此外，输入/输出接口1750可以向用户或其他外部设备输出从电子设备1701的其他元件接收到的指令或数据。
显示器1760可以包括例如液晶显示器(LCD)、发光二极管(LED)显示器、有机发光二极管(OLED)显示器、微机电系统(MEMS)显示器或电子纸显示器。显示器1760可以向用户呈现各种内容(例如，文本、图像、视频、图标、符号等)。显示器1760可以包括触摸屏，并可以接收来自电子笔或用户身体部位的触摸、手势、接近或悬停输入。
通信接口1770可以设置电子设备1701和外部设备(例如，第一外部电子设备1702、第二外部电子设备1704或服务器1706)之间的通信。例如，通信接口1770可以经由无线通信或有线通信与网络1762相连，以便与外部设备(例如，第二外部电子设备1704或服务器1706)进行通信。
无线通信可以使用以下至少一项蜂窝通信协议：例如，长期演进(LTE)、LTE-高级(LTE-A)、码分多址(CDMA)、宽带CDMA(WCDMA)、通用移动电信系统(UMTS)、无线宽带(WiBro)或全球移动通信系统(GSM)。无线通信可以包括例如短距离通信1764。短距离通信可以包括Wi-Fi、蓝牙(BT)、近场通信(NFC)、磁条传输(MST)或GNSS中的至少一个。
MST可以根据传输数据产生脉冲，并且所述脉冲可以产生电磁信号。电子设备1701可以将电磁信号发送给诸如销售点(POS)设备的读取器设备。POS设备可以通过使用MST读取器来检测磁信号，并且通过将检测到的电磁信号转换为电信号来恢复数据。
根据使用区域或带宽，GNSS可以包括例如以下至少一项：全球定位系统(GPS)、全球导航卫星系统(GLONASS)、北斗导航卫星系统(下文中，“北斗”)或伽利略(欧洲全球卫星导航系统)。在下文中，术语“GPS”和术语“GNSS”可以互换使用。有线通信可以包括以下各项中的至少一个：通用串行总线(USB)、高清多媒体接口(HDMI)、推荐标准232(RS-232)、普通老式电话业务(POTS)等。网络1762可以包括电信网络中的至少一个，例如，计算机网络(例如，局域网(LAN)或广域网(WAN))、互联网或电话网络。
第一外部电子设备1702和第二外部电子设备1704的类型可以与电子设备1701的类型相同或不同。根据本公开的实施例，服务器1706可以包括具有一个或多个服务器的组。在电子设备1701中执行的全部操作或部分操作可以在一个或多个其他电子设备(例如，第一电子设备1702、第二外部电子设备1704或服务器1706)中执行。当电子设备1701自动地或者响应于请求而应该执行特定功能或服务时，代替其自身执行所述功能或服务或者在其自身执行所述功能或服务之外，电子设备1701可以向另一设备(例如，第一电子设备1702、第二外部电子设备1704或服务器1706)请求与所述功能或服务相关的功能的至少一部分。该另一电子设备(例如，第一电子设备1702、第二外部电子设备1704或服务器1706)可以执行所请求的功能或附加功能，并可以向电子设备1701传送执行的结果。电子设备1701可以使用接收到的结果本身，或者附加地处理接收到的结果，以提供所请求的功能或服务。为此目的，可以使用例如云计算技术、分布式计算技术或客户端-服务器计算技术。
图18是示出了根据本公开实施例的电子设备的框图。
参照图18，电子设备1801可以包括例如图17所示的电子设备1701的一部分或整体。电子设备1801可以包括至少一个处理器(例如，AP)1810、通信模块1820(例如，收发器)、订户标识模块(SIM)1824、存储器1830、传感器模块1840、输入设备1850、显示器1860、接口1870、音频模块1880、相机模块1891、电源管理模块1895、电池1896、指示器1897和电机1898。
处理器1810可以运行操作系统(OS)或应用程序，从而控制连接到处理器1810的多个硬件或软件元件，并且可以处理各种数据并执行操作。例如，处理器1810可以用片上系统(SoC)来实现。根据本公开的实施例，处理器1810还可以包括图形处理单元(GPU)和/或图像信号处理器(ISP)。处理器1810可以包括图18所示的元件中的至少一部分(例如，蜂窝模块1821)。处理器1810可以将从至少一个其他元件(例如，非易失性存储器)接收到的指令或数据加载到易失性存储器上，以处理指令或数据，而且可以将各种数据存储在非易失性存储器中。
通信模块1820可以具有与图17的通信接口1770相同或类似的配置。通信模块1820可以包括例如蜂窝模块1821、Wi-Fi模块1823、BT模块1825、GNSS模块1827(例如，GPS模块、GLONASS模块、北斗模块或伽利略模块)、NFC模块1828和射频(RF)模块1829。
蜂窝模块1821可以通过通信网络提供例如语音呼叫服务、视频呼叫服务、文本消息服务或互联网服务。蜂窝模块1821可以使用订户标识模块(SIM)1824(例如，SIM卡)在通信网络中对电子设备1801进行识别和认证。蜂窝模块1821可以执行可由处理器1810提供的功能的至少一部分。蜂窝模块1821可以包括通信处理器(CP)。
Wi-Fi模块1823、BT模块1825、GNSS模块1827和NFC模块1828中的每一个可以包括例如用于处理通过各模块发送/接收的数据的处理器。根据本公开的一些实施例，蜂窝模块1821、Wi-Fi模块1823、BT模块1825、GNSS模块1827和NFC模块1828中的至少一部分(例如，两个或更多个)可以包含在一个集成芯片(IC)或IC封装中。
RF模块1829可以发送/接收例如通信信号(例如，RF信号)。RF模块1829可以包括例如收发机、功率放大模块(PAM)、频率滤波器、低噪放大器(LNA)、天线等。根据本公开的另一实施例，蜂窝模块1821、Wi-Fi模块1823、BT模块1825、GNSS模块1827或NFC模块1828中的至少一个可以通过单独的RF模块来发送/接收RF信号。
SIM 1824可以包括例如嵌入式SIM和/或包含订户标识模块的卡，并可以包括唯一标识信息(例如，集成电路卡标识符(ICCID))或订户信息(例如，国际移动订户标识(IMSI))。
例如，存储器1830(例如，存储器1730)可以包括内部存储器1832或者外部存储器1834。内部存储器1832可以包括以下至少一项：易失性存储器(例如，动态随机存取存储器(DRAM)、静态RAM(SRAM)、同步动态RAM(SDRAM)等)、非易失性存储器(例如，一次性可编程只读存储器(OTPROM)、可编程ROM(PROM)、可擦除可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)、掩蔽型ROM、闪存ROM、闪存(例如，NAND闪存、NOR闪存等))、硬盘驱动器或固态驱动器(SSD)。
外部存储器1834可以包括闪存驱动器，例如紧凑型闪存(CF)、安全数字(SD)、微型SD、迷你型SD、极限数字(xD)、多媒体卡(MMC)、存储棒等。外部存储器1834可以通过各种接口与电子设备1801操作地连接和/或物理地连接。
传感器模块1840例如可以测量物理量或检测电子设备1801的操作状态，以便将测量的或检测的信息转换为电信号。传感器模块1840可以包括例如以下至少一项：手势传感器1840A、陀螺仪传感器1840B、气压计或气压传感器1840C、磁传感器1840D、加速度传感器1840E、握持传感器1840F、接近传感器1840G、颜色传感器1840H(例如，红/绿/蓝(RGB)传感器)、生物传感器1840I、温度/湿度传感器1840J、照度传感器1840K或紫外线(UV)传感器1840M。附加地或者备选地，传感器模块1840可以包括例如嗅觉传感器(电子鼻传感器)、肌电图(EMG)传感器、脑电图(EEG)传感器、心电图(ECG)传感器、红外(IR)传感器、虹膜识别传感器和/或指纹传感器。传感器模块1840还可以包括用于控制其中包括的至少一个传感器的控制电路。在本公开的一些不同实施例中，电子设备1801还可以包括作为处理器1810的一部分或与处理器1810分离的、配置为控制传感器模块1840的处理器，使得当处理器1810处于休眠状态时控制传感器模块1840。
输入设备1850可以包括例如触摸面板1852、(数字)笔传感器1854、按键1856或超声输入设备1858。触摸面板1852可以使用电容型、电阻型、红外型和紫外型感测方法中的至少一种。触摸面板1852还可以包括控制电路。触摸面板1852还可以包括触觉层，以向用户提供触觉反馈。
(数字)笔传感器1854可以包括例如作为触摸面板的一部分的或单独的识别片。按键1856可以包括例如物理按钮、光学按钮或键区。超声输入设备1858可以通过麦克风1888来感测由输入工具产生的超声波，以识别与所感测的超声波相对应的数据。
显示器1860(例如，显示器1760)可以包括面板1862、全息设备1864或投影仪1866。面板1862可以具有与图17的显示器1760相同或类似的配置。面板1862可以是例如柔性的、透明的或可穿戴的。面板1862和触摸面板1852可以集成在单个模块中。全息设备1864可以使用光的干涉现象在空间中显示立体图像。投影仪1866可以将光投射到屏幕上以显示图像。该屏幕可以布置在电子设备1801的内部或外部。根据本公开的实施例，显示器1860还可以包括用于控制面板1862、全息设备1864或投影仪1866的控制电路。
接口1870可以包括例如HDMI 1872、USB 1874、光学接口1876或D-超小型(D-sub)1878。例如，接口1870可以被包括在图17中示出的通信接口1770中。附加地或备选地，接口1870可以包括例如移动高清链路(MHL)接口、SD卡/多媒体卡(MMC)接口或红外数据协会(IrDA)接口。
例如，音频模块1880可以将声音转换为电信号，反之亦然。音频模块1880的元件中的至少一部分可以包括在图17所示的输入/输出接口1750中。音频模块1880可以处理通过扬声器1882、听筒1884、耳机1886或麦克风1888输入或输出的声音信息。
相机模块1891例如是用于拍摄静止图像或视频的设备。根据本公开的实施例，相机模块1891可以包括至少一个图像传感器(例如，前置传感器或后置传感器)、镜头、图像信号处理器(ISP)或闪光灯(例如，LED或氙灯)。
电源管理模块1895可以管理电子设备1801的电力。根据本公开的实施例，电源管理模块1895可以包括电源管理集成电路(PMIC)、充电器集成电路(IC)或电池或量表。PMIC可以使用有线和/或无线充电方法。无线充电方法可以包括例如磁共振方法、磁感应方法、电磁方法等。还可以包括用于无线充电的附加电路，例如线圈回路、谐振电路、整流器等。例如，电池量表可以测量电池1896的剩余容量及在对电池充电时其电压、电流或温度。例如，电池1896可以包括可再充电电池和/或太阳能电池。
指示器1897可以显示电子设备1801或其一部分(例如，处理器1810)的具体状态，例如引导状态、消息状态、充电状态等。电机1898可以将电信号转换为机械振动，并可以产生振动或触觉效果。尽管未示出，但是电子设备1801中可以包括用于支持移动TV的处理设备(例如，GPU)。用于支持移动TV的处理设备可以处理符合数字多媒体广播(DMB)、数字视频广播(DVB)、MediaFloTM等标准的媒体数据。
在此所述的每个元件可以配置为一个或多个组件，且元件名称可以根据电子设备的类型而改变。在本公开的各实施例中，电子设备可以包括这里描述的元件中的至少一个，并且可以省略一些元件，或者可以添加其他附加元件。此外，可以将电子设备的某些元件彼此组合，以便形成一个实体，使得可以以与组合之前相同的方式来执行这些元件的功能。
图19是示出了根据本公开实施例的程序模块的框图。
参照图19，程序模块1910(例如，程序1740)可以包括用于控制与电子设备(例如，电子设备1701)相关的资源的操作系统(OS)和/或在OS上运行的各种应用(例如，应用程序1747)。OS可以是例如Android、iOS、Windows、Symbian、Tizen等。
程序模块1910可以包括内核1920、中间件1930、API 1960和/或应用1970。程序模块1910的至少一部分可以预先加载到电子设备上，或者可以从外部电子设备(例如，第一电子设备1702、第二外部电子设备1704或服务器1706)下载。
内核1920(例如，内核1741)可以包括例如系统资源管理器1921或设备驱动器1923。系统资源管理器1921可以执行系统资源的控制、分配或者获取。根据本公开的实施例，系统资源管理器1921可以包括进程管理单元、存储器管理单元、文件系统管理单元等。设备驱动器1923可以包括例如显示器驱动器、相机驱动器、BT驱动器、共享存储器驱动器、USB驱动器、键盘驱动器、Wi-Fi驱动器、音频驱动器或进程间通信(IPC)驱动器。
中间件1930例如可以提供应用1970共同所需的功能，或可以通过API 1960向应用1970提供多种功能，以便应用1970可以有效地使用电子设备中有限的系统资源。根据本公开的实施例，中间件1930(例如，中间件1743)可以包括以下至少一项：运行时间库1935、应用管理器1941、窗口管理器1942、多媒体管理器1943、资源管理器1944、电源管理器1945、数据库管理器1946、包管理器1947、连接管理器1948、通知管理器1949、位置管理器1950、图形管理器1951和安全管理器1952。
运行时间库1935可以包括例如库模块，在应用1970运行时，编译器使用库模块来通过编程语言添加新的功能。运行时间库1935可以执行用于输入/输出管理、存储器管理或算术函数的功能。
应用管理器1941可以管理例如应用1970中的至少一个应用的生命周期。窗口管理器1942可以管理屏幕中使用的图形用户界面(GUI)资源。多媒体管理器1943可以识别用于播放各种媒体文件所需的格式，并可以使用与格式匹配的编解码器对媒体文件进行编码或解码。资源管理器1944可以管理应用1970中的至少一个应用的资源，例如源代码、内存或存储空间。
电源管理器1945例如可以连同基本输入/输出系统(BIOS)一同操作，以管理电池或电源，并可以提供用于操作电子设备所需的电源信息。数据库管理器1946可以生成、搜索或修改要在至少一个应用1970中使用的数据库。包管理器1947可以管理以包文件格式分发的应用的安装或更新。
连接管理器1948可以管理Wi-Fi、BT等的无线连接。通知管理器1949可以用不打扰用户的方式来显示或通知事件，例如消息到来、约会和邻近提醒。位置管理器1950可以管理电子设备的位置信息。图形管理器1951可以管理要提供给用户的图形效果或与其相关的用户界面。安全管理器1952可以提供用于系统安全或用户认证所需的各种安全功能。根据本公开的实施例，在电子设备(例如，电子设备1701)包括电话功能的情况下，中间件1930还可以包括电话管理器，用于管理电子设备的语音呼叫功能或视频呼叫功能。
中间件1930可以包括中间件模块，用于形成上述元件的各种功能的组合。中间件1930可以提供针对每种类型的操作系统(OS)而被专门化的模块，以提供不同的功能。此外，中间件1930可以动态地删除一部分已有元件和/或可以添加新的元件。
API 1960(例如，API 1745)是例如API编程功能的集合，且可以根据OS以不同配置来提供。例如，在Android或iOS的情况下，可以针对每个平台提供一个API集，在Tizen的情况下，可以针对每个平台提供至少两个API集。
应用1970(例如，应用程序1747)例如可以包括能够执行如下功能的至少一个应用，所述功能诸如：主页1971、拨号器1972、短消息服务(SMS)/多媒体消息服务(MMS)1973、即时消息(IM)1974、浏览器1975、相机1976、闹钟1977、联系人1978、语音拨号1979、电子邮件1980、日历1981、媒体播放器1982、相册1983、时钟1984、健康护理(例如，测量运动量或血糖)或环境信息提供(例如，提供气压、湿度或温度信息)。
根据本公开的实施例，应用1970可以包括用于支持电子设备(例如，电子设备1701)和外部电子设备(例如，第一电子设备1702或第二外部电子设备1704)之间的信息交换的信息交换应用。例如，信息交换应用可以包括用于向外部电子设备中继特定信息的通知中继应用或者用于管理外部电子设备的设备管理应用。
例如，通知中继应用可以具有向外部电子设备(例如，第一电子设备1702或第二外部电子设备1704)中继在该电子设备的其他应用(例如，SMS/MMS应用、电子邮件应用、健康护理应用、环境信息应用等)中产生的通知信息的功能。此外，通知中继应用可以从外部电子设备接收通知信息，并可以将接收到的通知信息提供给用户。
例如，设备管理应用可以管理(例如，安装、删除或更新)与该电子设备通信的外部电子设备(例如，第一电子设备1702或第二外部电子设备1704)的至少一个功能(例如，外部电子设备自身(或一些元件)的接通/断开、或显示器的亮度(或分辨率)调节)、在外部电子设备中运行的应用、或由外部电子设备提供的应用(例如，呼叫服务、消息服务等)。
根据本公开的实施例，应用1970可以包括根据外部电子设备(例如，第一电子设备1702或第二外部电子设备1704)的属性指定的应用(例如，移动医疗设备的健康护理应用)。应用1970可以包括从外部电子设备(例如，第一电子设备1702或第二外部电子设备1704)接收的应用。应用1970可包括预加载的应用或可从服务器下载的第三方应用。所示的程序模块1910的元件的名称可以根据操作系统(OS)的类型而变化。
根据本公开的各实施例，程序模块1910的至少一部分可以用软件、固件、硬件或其组合来实现。例如，程序模块1910的至少一部分可以由处理器(例如，处理器1810)来实现(例如，执行)。程序模块1910的至少一部分可以包括例如用于执行至少一个功能的模块、程序、例程、指令集或进程。
本文使用的术语“模块”可以表示例如包括硬件、软件和固件之一或其组合在内的单元。术语“模块”可以与术语“单元”、“逻辑”、“逻辑块”、“组件”和“电路”互换使用。“模块”可以是集成组件的最小单元或者可以是其一部分。“模块”可以是用于执行一个或多个功能的最小单元或其一部分。可以用机械方式或电子方式来实现“模块”。例如，“模块”可以包括已知的或将来开发的用于执行一些操作的专用集成电路(ASIC)芯片、现场可编程门阵列(FPGA)和可编程逻辑器件中的至少一种。
根据本公开各实施例的设备(例如，其模块或功能)或方法(例如，操作)的至少一部分可以实现为以程序模块形式存储在计算机可读存储介质中的指令。在由处理器(例如，处理器1720)执行所述指令的情况下，处理器可以执行与所述指令相对应的功能。例如，计算机可读存储介质可以是存储器1730。
计算机可读记录介质可以包括硬盘、软盘、磁介质(例如，磁带)、光学介质(例如，压缩盘(CD)-ROM、数字通用盘(DVD))、磁光介质(例如，软光盘)或者硬件设备(例如，ROM、RAM、闪存等)。程序指令可以包括由编译器产生的机器语言代码以及可由计算机使用注释器执行的高级语言代码。上述硬件设备可以被配置为操作为一个或多个软件模块，以执行本公开各实施例的操作，反之亦然。
根据本公开各实施例的模块或程序模块可以包括上述元件中的至少一个元件，或者可以省略一些元件，或可以添加其他额外的元件。由根据本公开各实施例的模块、程序模块或其他元件执行的操作可以按照顺序、并行、迭代或启发式的方式执行。另外，一些操作可以按不同顺序执行，或者可以被省略，或者可以增加其他操作。
尽管参考本公开的各实施例示出并描述了本公开，然而本领域技术人员应理解，可以在不脱离由所附权利要求及其等同物限定的本公开的范围的前提下，进行形式和细节上的各种改变。

Claims (15)

1.一种电子设备，包括：
通信电路；
存储器，被配置为存储实现虚拟现实的内容；以及
至少一个处理器，电连接到所述通信电路和所述存储器，
其中，所述至少一个处理器被配置为：
通过显示器输出从与所述电子设备连接的另一电子设备获得的包括第一被摄物的第一图像，
识别所述电子设备附近的第一外部电子设备，
确定所述第一外部电子设备是否能够通过使用所述第一外部电子设备的相机来拍摄第二被摄物，
响应于所述第一外部电子设备能够通过使用所述相机拍摄所述第二被摄物的确定结果，通过所述通信电路向所述第一外部电子设备发送拍摄命令以通过使用所述第一外部电子设备的相机拍摄所述第二被摄物，
通过所述通信电路从所述第一外部电子设备接收基于所述拍摄命令拍摄的所述第二被摄物的第二图像，
基于所述第一图像的至少一部分设置虚拟捕获图像的背景，
将所述第二图像中包括的所述第二被摄物设置为所述虚拟捕获图像的被摄物，以及
基于所设置的背景和被摄物生成所述虚拟捕获图像，
其中，所述至少一个处理器还被配置为：当从所述第一外部电子设备接收到与所述第一外部电子设备的运动有关的感测数据时，基于接收到的感测数据来改变虚拟捕获图像的背景，并且基于改变后的背景和所设置的被摄物来生成虚拟捕获图像。
2.根据权利要求1所述的电子设备，其中，所述至少一个处理器还被配置为：在所述电子设备中包括的显示器或可拆卸地连接到所述电子设备的显示设备上输出所述第一图像、所述第二图像或所述虚拟捕获图像中的至少一个。
3.根据权利要求1所述的电子设备，其中，所述第二图像包括通过拍摄所述电子设备的用户获得的图像。
4.根据权利要求1所述的电子设备，其中，所述至少一个处理器还被配置为：
提取所述第二图像中包括的与所述第二被摄物对应的对象，以及
将所述第一图像的至少一部分与所述对象合并，以生成所述虚拟捕获图像。
5.根据权利要求4所述的电子设备，其中，所述至少一个处理器还被配置为：校正所述对象的部分区域。
6.根据权利要求1所述的电子设备，其中，所述至少一个处理器还被配置为：
基于通过所述电子设备中包括的第一传感器获得的第一感测数据或用户输入中的至少一个，选择所述第一图像的至少一部分，以及
在生成所述虚拟捕获图像时使用所述第一图像的所选择的至少一部分。
7.根据权利要求1所述的电子设备，其中，所述至少一个处理器还被配置为：基于通过所述电子设备中包括的第一传感器获得的第一感测数据或通过所述第一外部电子设备中包括的第二传感器获得的第二感测数据中的至少一个，改变所述第二图像中包括的所述第二被摄物的拍摄角度。
8.根据权利要求1所述的电子设备，其中，所述至少一个处理器还被配置为：
获得所述电子设备或所述第一外部电子设备中的至少一个的周围环境信息，
基于所获得的周围环境信息，确定是否需要用于拍摄的外部光源，
确定是否存在能够用作外部光源的第二外部电子设备，以及
响应于存在所述第二外部电子设备的确定结果，控制所述第二外部电子设备。
9.根据权利要求1所述的电子设备，其中，所述至少一个处理器还被配置为：
响应于存在在所述电子设备附近且能够拍摄所述第二被摄物的第二外部电子设备的确定结果，提供界面，以使得所述第一外部电子设备或所述第二外部电子设备被选择，以及
响应于选择所述第一外部电子设备或所述第二外部电子设备，从所选择的外部电子设备接收所述第二图像。
10.根据权利要求1所述的电子设备，其中，所述至少一个处理器还被配置为：通过所述通信电路从连接到所述电子设备的第二外部电子设备接收所述内容或所述第一图像。
11.一种电子设备的使用外部电子设备的拍摄方法，所述拍摄方法包括：
在显示器上输出实现虚拟现实的内容中包括的第一图像，其中所述第一图像是从与所述电子设备连接的另一电子设备获得的包括第一被摄物的图像；
识别所述电子设备附近的第一外部电子设备；
确定所述第一外部电子设备是否能够通过使用所述第一外部电子设备的相机来拍摄第二被摄物；
响应于所述第一外部电子设备能够通过使用所述相机拍摄所述第二被摄物的确定结果，向所述第一外部电子设备发送拍摄命令以通过使用所述第一外部电子设备的相机拍摄所述第二被摄物；
从所述第一外部电子设备接收基于所述拍摄命令拍摄的所述第二被摄物的第二图像；
基于所述第一图像的至少一部分设置虚拟捕获图像的背景；
将所述第二图像中包括的所述第二被摄物设置为所述虚拟捕获图像的被摄物；以及
基于所设置的背景和被摄物生成所述虚拟捕获图像，
其中，所述拍摄方法还包括：当从所述第一外部电子设备接收到与所述第一外部电子设备的运动有关的感测数据时，基于接收到的感测数据来改变虚拟捕获图像的背景，并且基于改变后的背景和所设置的被摄物来生成虚拟捕获图像。
12.根据权利要求11所述的拍摄方法，还包括：
提取所述第二图像中包括的与所述第二被摄物对应的对象；
其中，生成所述虚拟捕获图像包括：通过将所述第一图像的至少一部分和所述对象合并来生成所述虚拟捕获图像。
13.根据权利要求11所述的拍摄方法，其中，生成所述虚拟捕获图像包括：
基于通过所述电子设备中包括的第一传感器获得的第一感测数据或用户输入中的至少一个，选择所述第一图像的至少一部分，以及
在生成所述虚拟捕获图像时使用所述第一图像的所选择的至少一部分。
14.根据权利要求11所述的拍摄方法，其中，接收第二图像包括：基于通过所述电子设备中包括的第一传感器获得的第一感测数据或通过所述第一外部电子设备中包括的第二传感器获得的第二感测数据中的至少一个，改变所述第二图像中包括的所述第二被摄物的拍摄角度。
15.根据权利要求11所述的拍摄方法，还包括：
获得所述电子设备或所述第一外部电子设备中的至少一个的周围环境信息；
基于所获得的周围环境信息，确定是否需要用于拍摄的外部光源；
确定是否存在能够用作外部光源的第二外部电子设备；以及
响应于存在所述第二外部电子设备的确定结果，控制所述第二外部电子设备。
CN201810164665.4A 2017-02-28 2018-02-27 使用外部电子设备的拍摄方法和支持该方法的电子设备 Active CN108513060B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020170025953A KR20180099026A (ko) 2017-02-28 2017-02-28 외부 전자 장치를 이용한 촬영 방법 및 이를 지원하는 전자 장치
KR10-2017-0025953 2017-02-28

Publications (2)

Publication Number Publication Date
CN108513060A CN108513060A (zh) 2018-09-07
CN108513060B true CN108513060B (zh) 2021-12-21

Family

ID=61526569

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810164665.4A Active CN108513060B (zh) 2017-02-28 2018-02-27 使用外部电子设备的拍摄方法和支持该方法的电子设备

Country Status (5)

Country Link
US (1) US10917552B2 (zh)
EP (1) EP3367664B1 (zh)
KR (1) KR20180099026A (zh)
CN (1) CN108513060B (zh)
ES (1) ES2794905T3 (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10303413B2 (en) 2016-09-28 2019-05-28 Verizon Patent And Licensing Inc. Apparatuses and methods for linking mobile computing devices for virtual reality experiences
US11394898B2 (en) * 2017-09-08 2022-07-19 Apple Inc. Augmented reality self-portraits
US10839577B2 (en) 2017-09-08 2020-11-17 Apple Inc. Creating augmented reality self-portraits using machine learning
US10636200B2 (en) * 2018-01-19 2020-04-28 Htc Corporation Electronic device, method for displaying an augmented reality scene and non-transitory computer-readable medium
CN109361888B (zh) * 2018-10-25 2022-10-14 上海小度技术有限公司 通话背景的调整方法和装置、视频通话设备及存储介质
KR20200095873A (ko) 2019-02-01 2020-08-11 한국전자통신연구원 인물 영역 추출 방법, 이를 이용하는 영상 처리 장치 및 인물 영역 추출 시스템
US11308618B2 (en) 2019-04-14 2022-04-19 Holovisions LLC Healthy-Selfie(TM): a portable phone-moving device for telemedicine imaging using a mobile phone
KR102579700B1 (ko) * 2019-06-03 2023-09-18 삼성전자주식회사 데이터를 처리하기 위한 방법 및 이를 지원하는 전자 장치
US11867798B2 (en) * 2019-09-13 2024-01-09 Samsung Electronics Co., Ltd. Electronic device including sensor and method of determining path of electronic device
CN112637641B (zh) * 2020-12-01 2023-05-30 深圳市酷开网络科技股份有限公司 多分屏显示布局及显示内容推荐方法、系统及存储介质
JP2022114600A (ja) * 2021-01-27 2022-08-08 キヤノン株式会社 撮像システム、表示装置、端末装置および撮像システムの制御方法
WO2022195342A1 (en) * 2021-03-19 2022-09-22 Lui Ying Lun Imaging device and system, method of capturing images and computer readable storage medium
CN114900624A (zh) * 2022-04-25 2022-08-12 歌尔股份有限公司 拍摄校准方法、系统、设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2571248A2 (en) * 2011-08-23 2013-03-20 Canon Kabushiki Kaisha Network management apparatus and method of controlling the same, and communication apparatus and method of controlling the same
CN104410780A (zh) * 2014-11-05 2015-03-11 惠州Tcl移动通信有限公司 可穿戴式设备、拍摄设备、拍摄系统及其拍摄方法
CN106303289A (zh) * 2015-06-05 2017-01-04 福建凯米网络科技有限公司 一种将真实对象与虚拟场景融合显示的方法、装置及系统

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101338818B1 (ko) 2010-11-29 2013-12-06 주식회사 팬택 이동 단말기 및 이를 이용한 정보 표시 방법
JP2013013063A (ja) 2011-06-03 2013-01-17 Panasonic Corp 撮像装置及び撮像システム
KR101601805B1 (ko) 2011-11-14 2016-03-11 한국전자통신연구원 스토리 기반 가상 체험 학습을 위한 혼합 현실 콘텐츠 제공 장치 및 방법
JP2015002423A (ja) * 2013-06-14 2015-01-05 ソニー株式会社 画像処理装置、サーバ及び記憶媒体
KR102031142B1 (ko) * 2013-07-12 2019-10-11 삼성전자주식회사 영상 디스플레이를 제어하는 전자 장치 및 방법
JP5769032B2 (ja) 2013-07-29 2015-08-26 カシオ計算機株式会社 撮像装置、撮像方法及びプログラム
JP5863888B2 (ja) * 2014-06-27 2016-02-17 株式会社Pfu 画像読取装置
KR20160059765A (ko) * 2014-11-19 2016-05-27 삼성전자주식회사 전자 장치의 디스플레이 방법 및 장치
KR102360453B1 (ko) * 2015-04-10 2022-02-09 삼성전자 주식회사 카메라 설정 방법 및 장치
KR20160133230A (ko) * 2015-05-12 2016-11-22 엘지전자 주식회사 이동 단말기
KR20170115350A (ko) * 2016-04-07 2017-10-17 삼성전자주식회사 전자 장치 및 그의 동작 방법
KR102471916B1 (ko) * 2016-06-03 2022-11-29 엘지전자 주식회사 모바일 디바이스 및 그 제어 방법
CN106157262B (zh) 2016-06-28 2020-04-17 Oppo广东移动通信有限公司 一种增强现实的处理方法、装置和移动终端
CN106293087B (zh) * 2016-08-09 2019-07-26 联想(北京)有限公司 一种信息交互方法及电子设备

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2571248A2 (en) * 2011-08-23 2013-03-20 Canon Kabushiki Kaisha Network management apparatus and method of controlling the same, and communication apparatus and method of controlling the same
CN104410780A (zh) * 2014-11-05 2015-03-11 惠州Tcl移动通信有限公司 可穿戴式设备、拍摄设备、拍摄系统及其拍摄方法
CN106303289A (zh) * 2015-06-05 2017-01-04 福建凯米网络科技有限公司 一种将真实对象与虚拟场景融合显示的方法、装置及系统

Also Published As

Publication number Publication date
ES2794905T3 (es) 2020-11-19
US20180249062A1 (en) 2018-08-30
CN108513060A (zh) 2018-09-07
US10917552B2 (en) 2021-02-09
KR20180099026A (ko) 2018-09-05
EP3367664A1 (en) 2018-08-29
EP3367664B1 (en) 2020-04-01

Similar Documents

Publication Publication Date Title
CN108513060B (zh) 使用外部电子设备的拍摄方法和支持该方法的电子设备
CN108664829B (zh) 用于提供与图像中对象有关的信息的设备
CN110083730B (zh) 使用语音标签管理图像的方法和装置
US10366519B2 (en) Operating method for image and electronic device supporting the same
KR102423184B1 (ko) 화면 출력 방법 및 이를 지원하는 전자 장치
CN107665485B (zh) 用于显示图形对象的电子装置和计算机可读记录介质
CN108392182B (zh) 提供皮肤信息的方法和支持所述方法的电子设备
US10009534B2 (en) Device and method for detecting focus of electronic device
US10319086B2 (en) Method for processing image and electronic device supporting the same
KR102355039B1 (ko) 잠금 화면 출력 제어 방법 및 이를 지원하는 전자 장치
US10410407B2 (en) Method for processing image and electronic device thereof
CN110088764B (zh) 用于虹膜识别功能的操作方法及支持该方法的电子设备
KR20170136920A (ko) 화면 출력 방법 및 이를 지원하는 전자 장치
CN108427533B (zh) 电子设备及用于确定电子设备的环境的方法
EP3336666A1 (en) Electronic device for detecting opening and closing of cover device and method of operating same
CN108024763B (zh) 活动信息提供方法及支持其的电子设备
CN109804618B (zh) 用于显示图像的电子设备和计算机可读记录介质
US10909420B2 (en) Method and apparatus for continuously displaying images on basis of similarity of images
KR102457247B1 (ko) 이미지를 처리하는 전자 장치 및 그 제어 방법
EP3280131B1 (en) Method of processing image and electronic device supporting the same
EP3446240B1 (en) Electronic device and method for outputting thumbnail corresponding to user input
CN108141544B (zh) 面部检测方法以及支持该方法的电子设备
US10091436B2 (en) Electronic device for processing image and method for controlling the same

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant