KR102575673B1

KR102575673B1 - Electronic apparatus and operating method thereof

Info

Publication number: KR102575673B1
Application number: KR1020160165813A
Authority: KR
Inventors: 김종윤; 김정수; 손동일; 윤용상; 최종철
Original assignee: 삼성전자주식회사
Priority date: 2016-12-07
Filing date: 2016-12-07
Publication date: 2023-09-07
Also published as: KR20180065245A

Abstract

본 발명의 다양한 실시예는 영상 촬영이 가능한 전자 장치에 관한 것으로, 전자 장치는, 제1 하우징, 제2 하우징, 상기 제1 하우징에 포함되는 제1 카메라 모듈, 상기 제2 하우징에 포함되는 제2 카메라 모듈 및 제1 모드로 동작하여 상기 제1 카메라 모듈 및 상기 제2 카메라 모듈을 통해 제1 화각의 영상을 획득하고, 상기 제1 카메라 모듈과 상기 제2 카메라 모듈 가운데 적어도 하나의 촬영 방향이 변경되면, 상기 제1 카메라 모듈 및 상기 제2 카메라 모듈을 통해 제2 화각의 영상을 획득하는 제2 모드로 동작하도록 구성된 프로세서를 포함할 수 있다.Various embodiments of the present invention relate to an electronic device capable of capturing an image, and the electronic device includes a first housing, a second housing, a first camera module included in the first housing, and a second camera module included in the second housing. The camera module operates in a first mode, an image of a first angle of view is obtained through the first camera module and the second camera module, and a photographing direction of at least one of the first camera module and the second camera module is changed. , a processor configured to operate in a second mode for obtaining an image of a second angle of view through the first camera module and the second camera module.

Description

Electronic device and its operating method {ELECTRONIC APPARATUS AND OPERATING METHOD THEREOF}

본 발명의 다양한 실시예는 파노라마 영상 촬영이 가능한 전자 장치에 관한 것이다.Various embodiments of the present disclosure relate to an electronic device capable of capturing a panoramic image.

전자 장치는 일반적으로 고화소 카메라 모듈을 구비하고 있어 정지 영상 또는 동영상 촬영이 가능하다. 이러한 전자 장치는 촬영된 영상을 이용하여 파노라마 영상(예: 360도 파노라마 영상)을 생성할 수 있다. 예를 들어, 전자 장치의 전방을 향하는 제1 카메라 모듈과 전자 장치의 후방을 향하는 제2 카메라 모듈을 통해 획득된 영상을 결합하여 360도 파노라마 영상을 생성할 수 있다.Electronic devices are generally equipped with a high-pixel camera module and can capture still images or moving pictures. Such an electronic device may generate a panoramic image (eg, a 360-degree panoramic image) using the photographed image. For example, a 360-degree panoramic image may be generated by combining images obtained through a first camera module facing forward of the electronic device and a second camera module facing rearward of the electronic device.

더하여, 전자 장치는 신체 착용이 가능한 외부 장치와 통신적으로 연결될 수 있으며, 생성된 파노라마 영상을 외부 장치로 제공할 수 있다.In addition, the electronic device can be communicatively connected to an external device that can be worn on the body, and can provide the created panoramic image to the external device.

일반적으로 외부 장치는 다양한 방법으로 영상을 출력할 수 있다. 예를 들어, 외부 장치는 전자 장치로부터 제공되는 파노라마 영상을 이용하여 증강 현실 기능을 제공할 수 있다. 다른 예로, 외부 장치는 전자 장치로부터 스테레오스코픽 영상을 이용하여 가상 현실 기능을 제공할 수 있다. 따라서, 외부 장치를 착용한 사용자는 원하는 기능을 이용하기 위하여 파노라마 영상을 제공하는 전자 장치 또는 스테레오스코픽 영상을 제공하는 전자 장치를 선택해서 외부 장치와 연결해야 하는 문제점이 발생할 수 있다.In general, an external device may output an image in various ways. For example, the external device may provide an augmented reality function using a panoramic image provided from the electronic device. As another example, the external device may provide a virtual reality function using a stereoscopic image from the electronic device. Therefore, a user wearing an external device may have to select an electronic device that provides a panoramic image or an electronic device that provides a stereoscopic image and connect it to the external device in order to use a desired function.

본 발명의 다양한 실시예에 따른 전자 장치는 360도 파노라마 영상 및 스테레오스코픽 영상을 생성할 수 있다.An electronic device according to various embodiments of the present disclosure may generate a 360-degree panoramic image and a stereoscopic image.

본 발명의 다양한 실시예에 따른 전자 장치는 통신적으로 연결된 외부 장치에 기반하여 스테레오스코픽 영상의 입체감을 조절할 수 있다.An electronic device according to various embodiments of the present disclosure may adjust a 3D effect of a stereoscopic image based on a communicatively connected external device.

본 발명의 다양한 실시예에 따른 전자 장치는, 제1 하우징, 제2 하우징, 상기 제1 하우징에 포함되는 제1 카메라 모듈, 상기 제2 하우징에 포함되는 제2 카메라 모듈 및 제1 모드로 동작하여 상기 제1 카메라 모듈 및 상기 제2 카메라 모듈을 통해 제1 화각의 영상을 획득하고, 상기 제1 카메라 모듈과 상기 제2 카메라 모듈 가운데 적어도 하나의 촬영 방향이 변경되면, 상기 제1 카메라 모듈 및 상기 제2 카메라 모듈을 통해 제2 화각의 영상을 획득하는 제2 모드로 동작하도록 구성된 프로세서를 포함할 수 있다.An electronic device according to various embodiments of the present invention operates in a first mode with a first housing, a second housing, a first camera module included in the first housing, and a second camera module included in the second housing. When an image of a first angle of view is acquired through the first camera module and the second camera module, and a photographing direction of at least one of the first camera module and the second camera module is changed, the first camera module and the A processor configured to operate in a second mode for obtaining an image of a second angle of view through a second camera module may be included.

본 발명의 다양한 실시예에 따른 전자 장치의 동작 방법은, 제1 모드로 동작하는 것에 대응하여, 제1 카메라 모듈 및 제2 카메라 모듈을 통해 제1 화각의 영상을 획득하는 동작, 상기 제1 카메라 모듈과 상기 제2 카메라 모듈 가운데 적어도 하나의 촬영 방향이 변경되는지 판단하는 동작 및 적어도 하나의 촬영 방향이 변경되면, 상기 제1 카메라 모듈 및 상기 제2 카메라 모듈을 통해 제2 화각의 영상을 획득하는 제2 모드로 변경하는 동작을 포함할 수 있다.An operating method of an electronic device according to various embodiments of the present disclosure includes obtaining an image of a first view angle through a first camera module and a second camera module in response to operating in a first mode, the first camera module, and the first camera module. Operation of determining whether the shooting direction of at least one of the module and the second camera module is changed, and obtaining an image of a second angle of view through the first camera module and the second camera module when the at least one shooting direction is changed An operation of changing to the second mode may be included.

본 발명의 다양한 실시예에 따른 외부 장치는, 통신부, 디스플레이 및 상기 통신부 및 상기 디스플레이와 기능적으로 연결되고, 외부로부터 수신하는 영상의 종류에 따라 디스플레이 방식을 결정하도록 구성된 프로세서를 포함하며, 상기 프로세서는, 파노라마 영상을 수신하는 것에 대응하여, 상기 수신된 파노라마 영상 가운데 사용자의 시선에 대응하는 부분을 출력 범위로 결정하고, 스테레오스코픽 영상을 수신하는 것에 대응하여, 상기 수신된 스테레오스코픽 영상에 대하여 출력을 제어할 것인지를 판단하도록 구성될 수 있다.An external device according to various embodiments of the present invention includes a communication unit, a display, and a processor functionally connected to the communication unit and the display and configured to determine a display method according to a type of an image received from the outside, wherein the processor comprises: , In response to receiving a panoramic image, determining a portion corresponding to the user's line of sight among the received panoramic images as an output range, and in response to receiving a stereoscopic image, outputting the received stereoscopic image It can be configured to determine whether to control.

본 발명의 다양한 실시예에 따른 전자 장치 및 그 동작 방법은, 전자 장치의 제1 방향을 향하는 제1 카메라 모듈과 전자 장치의 제2 방향을 향하는 제2 카메라 모듈을 회전 가능하도록 하여 선택적으로 파노라마 영상 또는 스테레오스코픽 영상을 생성할 수 있다. 더하여, 다양한 실시예에 따른 전자 장치 및 그 동작 방법은 통신적으로 연결된 외부 장치에 기반하여 스테레오스코픽 영상을 생성하여 외부 장치를 착용한 사용자에게 적합한 입체감을 제공할 수 있다.An electronic device and an operating method thereof according to various embodiments of the present disclosure selectively produce a panoramic image by enabling rotation of a first camera module facing a first direction of the electronic device and a second camera module facing a second direction of the electronic device. Alternatively, a stereoscopic image may be generated. In addition, an electronic device and an operating method thereof according to various embodiments may generate a stereoscopic image based on a communicatively connected external device to provide a three-dimensional effect suitable for a user wearing the external device.

도 1a 내지 도 1d는 본 발명의 다양한 실시예에 따른 전자 장치와 외부 장치를 도시한 도면이다.
도 2는 본 발명의 다양한 실시예에 따른 네트워크 환경 내의 전자 장치를 도시한 도면이다.
도 3은 다양한 실시예에 따른 전자 장치(301)의 블록도이다.
도 4는 다양한 실시예에 따른 프로그램 모듈의 블록도이다.
도 5는 본 발명의 다양한 실시 예에 따른 외부 장치에서 입력을 수신하는 일례를 도시한 도면이다.
도 6은 본 발명의 다양한 실시 예에 따른 외부 장치의 블록도이다..
도 7은 본 발명의 다양한 실시예에 따른 전자 장치의 영상 촬영 동작을 도시한 흐름도이다.
도 8은 본 발명의 다양한 실시예에 따른 전자 장치의 화각을 설명하기 위한 예시도이다.
도 9는 본 발명의 다양한 실시예에 따라 제1 모드로 동작하는 전자 장치의 절차를 도시한 흐름도이다.
도 10은 본 발명의 다양한 실시예에 따라 제2 모드로 동작하는 전자 장치의 절차를 도시한 흐름도이다.
도 11은 본 발명의 다양한 실시예에 따른 전자 장치에서 카메라 위치를 설정하는 절차를 도시한 흐름도이다.
도 12는 본 발명의 다양한 실시예에 따른 전자 장치의 스테레오스코픽 영상 생성 절차를 도시한 흐름도이다.
도 13은 본 발명의 다양한 실시예에 따른 외부 장치에서 영상을 출력하는 동작을 도시한 흐름도이다.
도 14는 본 발명의 다양한 실시예에 따른 외부 장치의 파노라마 영상 출력 동작을 설명하기 위한 예시도이다.
도 15는 본 발명의 다양한 실시예에 따른 외부 장치의 영상 출력 제어 절차를 도시한 흐름도이다.
도 16은 본 발명의 다양한 실시예에 따른 외부 장치의 가이드 정보 출력 동작을 설명하기 위한 예시도이다.
도 17은 본 발명의 다양한 실시예에 따른 전자 장치의 영상 촬영 동작을 도시한 흐름도이다.1A to 1D are diagrams illustrating an electronic device and an external device according to various embodiments of the present disclosure.
2 is a diagram illustrating an electronic device in a network environment according to various embodiments of the present disclosure.
3 is a block diagram of an electronic device 301 according to various embodiments.
4 is a block diagram of program modules according to various embodiments.
5 is a diagram illustrating an example of receiving an input from an external device according to various embodiments of the present disclosure.
6 is a block diagram of an external device according to various embodiments of the present disclosure.
7 is a flowchart illustrating an image capture operation of an electronic device according to various embodiments of the present disclosure.
8 is an exemplary diagram for explaining a view angle of an electronic device according to various embodiments of the present disclosure.
9 is a flowchart illustrating a procedure of an electronic device operating in a first mode according to various embodiments of the present disclosure.
10 is a flowchart illustrating a procedure of an electronic device operating in a second mode according to various embodiments of the present disclosure.
11 is a flowchart illustrating a procedure for setting a camera location in an electronic device according to various embodiments of the present disclosure.
12 is a flowchart illustrating a procedure for generating a stereoscopic image of an electronic device according to various embodiments of the present disclosure.
13 is a flowchart illustrating an operation of outputting an image from an external device according to various embodiments of the present disclosure.
14 is an exemplary diagram for explaining an operation of outputting a panoramic image of an external device according to various embodiments of the present disclosure.
15 is a flowchart illustrating a video output control procedure of an external device according to various embodiments of the present disclosure.
16 is an exemplary view illustrating an operation of outputting guide information of an external device according to various embodiments of the present disclosure.
17 is a flowchart illustrating an image capturing operation of an electronic device according to various embodiments of the present disclosure.

이하, 본 문서의 다양한 실시예들이 첨부된 도면을 참조하여 기재된다. 실시예 및 이에 사용된 용어들은 본 문서에 기재된 기술을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 해당 실시예의 다양한 변경, 균등물, 및/또는 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 본 문서에서, "A 또는 B" 또는 "A 및/또는 B 중 적어도 하나" 등의 표현은 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다. "제 1", "제 2", "첫째" 또는 "둘째" 등의 표현들은 해당 구성요소들을, 순서 또는 중요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다. 어떤(예: 제 1) 구성요소가 다른(예: 제 2) 구성요소에 "(기능적으로 또는 통신적으로) 연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소(예: 제 3 구성요소)를 통하여 연결될 수 있다.Hereinafter, various embodiments of this document will be described with reference to the accompanying drawings. Examples and terms used therein are not intended to limit the technology described in this document to specific embodiments, and should be understood to include various modifications, equivalents, and/or substitutes of the embodiments. In connection with the description of the drawings, like reference numerals may be used for like elements. Singular expressions may include plural expressions unless the context clearly dictates otherwise. In this document, expressions such as "A or B" or "at least one of A and/or B" may include all possible combinations of the items listed together. Expressions such as "first", "second", "first" or "second" may modify the elements in any order or importance, and are used only to distinguish one element from another. The components are not limited. When a (e.g., first) element is referred to as being "(functionally or communicatively) coupled to" or "connected to" another (e.g., second) element, that element refers to the other (e.g., second) element. It may be directly connected to the component or connected through another component (eg, a third component).

본 문서에서, "~하도록 구성된(또는 설정된)(configured to)"은 상황에 따라, 예를 들면, 하드웨어적 또는 소프트웨어적으로 "~에 적합한", "~하는 능력을 가지는", "~하도록 변경된", "~하도록 만들어진", "~를 할 수 있는" 또는 "~하도록 설계된"과 상호 호환적으로(interchangeably) 사용될 수 있다. 어떤 상황에서는, "~하도록 구성된 장치"라는 표현은, 그 장치가 다른 장치 또는 부품들과 함께 "~할 수 있는" 것을 의미할 수 있다. 예를 들면, 문구 "A, B, 및 C를 수행하도록 구성된(또는 설정된) 프로세서"는 해당 동작을 수행하기 위한 전용 프로세서(예: 임베디드 프로세서), 또는 메모리 장치에 저장된 하나 이상의 소프트웨어 프로그램들을 실행함으로써, 해당 동작들을 수행할 수 있는 범용 프로세서(예: CPU 또는 application processor)를 의미할 수 있다. In this document, "configured to (or configured to)" means "suitable for", "having the ability to", "changed to" depending on the situation, for example, hardware or software ", "made to", "capable of" or "designed to" can be used interchangeably. In some contexts, the expression "device configured to" can mean that the device is "capable of" in conjunction with other devices or components. For example, the phrase "a processor configured (or configured) to perform A, B, and C" may include a dedicated processor (eg, embedded processor) to perform the operation, or by executing one or more software programs stored in a memory device. , may mean a general-purpose processor (eg, CPU or application processor) capable of performing corresponding operations.

본 문서의 다양한 실시예들에 따른 전자 장치는, 예를 들면, 스마트폰, 태블릿 PC, 이동 전화기, 영상 전화기, 전자책 리더기, 데스크탑 PC, 랩탑 PC, 넷북 컴퓨터, 워크스테이션, 서버, PDA, PMP(portable multimedia player), MP3 플레이어, 의료기기, 카메라, 또는 웨어러블 장치 중 적어도 하나를 포함할 수 있다. 웨어러블 장치는 액세서리형(예: 시계, 반지, 팔찌, 발찌, 목걸이, 안경, 콘택트 렌즈, 또는 머리 착용형 장치(head-mounted-device(HMD)), 직물 또는 의류 일체형(예: 전자 의복), 신체 부착형(예: 스킨 패드 또는 문신), 또는 생체 이식형 회로 중 적어도 하나를 포함할 수 있다. 어떤 실시예들에서, 전자 장치는, 예를 들면, 텔레비전, DVD(digital video disk) 플레이어, 오디오, 냉장고, 에어컨, 청소기, 오븐, 전자레인지, 세탁기, 공기 청정기, 셋톱 박스, 홈 오토매이션 컨트롤 패널, 보안 컨트롤 패널, 미디어 박스(예: 삼성 HomeSync^TM, 애플TV^TM, 또는 구글 TV^TM), 게임 콘솔(예: Xbox^TM, PlayStation^TM), 전자 사전, 전자 키, 캠코더, 또는 전자 액자 중 적어도 하나를 포함할 수 있다.Electronic devices according to various embodiments of the present document include, for example, a smart phone, a tablet PC, a mobile phone, a video phone, an e-book reader, a desktop PC, a laptop PC, a netbook computer, a workstation, a server, a PDA, and a PMP. It may include at least one of a portable multimedia player, an MP3 player, a medical device, a camera, or a wearable device. A wearable device may be in the form of an accessory (e.g. watch, ring, bracelet, anklet, necklace, eyeglasses, contact lens, or head-mounted-device (HMD)), integrated into textiles or clothing (e.g. electronic garment); In some embodiments, the electronic device may include, for example, a television, a digital video disk (DVD) player, Audio, refrigerator, air conditioner, vacuum cleaner, oven, microwave, washing machine, air purifier, set top box, home automation control panel, security control panel, media box (e.g. Samsung HomeSync ^TM , Apple TV ^TM , or Google TV ^TM ) , a game console (eg, Xbox ^TM , PlayStation ^TM ), an electronic dictionary, an electronic key, a camcorder, or an electronic picture frame.

다른 실시예에서, 전자 장치는, 각종 의료기기(예: 각종 휴대용 의료측정기기(혈당 측정기, 심박 측정기, 혈압 측정기, 또는 체온 측정기 등), MRA(magnetic resonance angiography), MRI(magnetic resonance imaging), CT(computed tomography), 촬영기, 또는 초음파기 등), 네비게이션 장치, 위성 항법 시스템(GNSS(global navigation satellite system)), EDR(event data recorder), FDR(flight data recorder), 자동차 인포테인먼트 장치, 선박용 전자 장비(예: 선박용 항법 장치, 자이로 콤파스 등), 항공 전자기기(avionics), 보안 기기, 차량용 헤드 유닛(head unit), 산업용 또는 가정용 로봇, 드론(drone), 금융 기관의 ATM, 상점의 POS(point of sales), 또는 사물 인터넷 장치 (예: 전구, 각종 센서, 스프링클러 장치, 화재 경보기, 온도조절기, 가로등, 토스터, 운동기구, 온수탱크, 히터, 보일러 등) 중 적어도 하나를 포함할 수 있다. In another embodiment, the electronic device may include various types of medical devices (e.g., various portable medical measuring devices (such as blood glucose meter, heart rate monitor, blood pressure monitor, or body temperature monitor), magnetic resonance angiography (MRA), magnetic resonance imaging (MRI), CT (computed tomography), imager, or ultrasonicator, etc.), navigation device, global navigation satellite system (GNSS), EDR (event data recorder), FDR (flight data recorder), automobile infotainment device, marine electronic equipment (e.g. navigation devices for ships, gyrocompasses, etc.), avionics, security devices, head units for vehicles, industrial or home robots, drones, ATMs in financial institutions, point of sale (POS) in stores of sales), or IoT devices (eg, light bulbs, various sensors, sprinkler devices, fire alarms, thermostats, street lights, toasters, exercise equipment, hot water tanks, heaters, boilers, etc.).

어떤 실시예에 따르면, 전자 장치는 가구, 건물/구조물 또는 자동차의 일부, 전자 보드(electronic board), 전자 사인 수신 장치(electronic signature receiving device), 프로젝터, 또는 각종 계측 기기(예: 수도, 전기, 가스, 또는 전파 계측 기기 등) 중 적어도 하나를 포함할 수 있다. 다양한 실시예에서, 전자 장치는 플렉서블하거나, 또는 전술한 다양한 장치들 중 둘 이상의 조합일 수 있다. 본 문서의 실시예에 따른 전자 장치는 전술한 기기들에 한정되지 않는다. According to some embodiments, the electronic device may be a piece of furniture, a building/structure or a vehicle, an electronic board, an electronic signature receiving device, a projector, or various measuring devices (eg, water, electricity, gas, radio wave measuring device, etc.). In various embodiments, the electronic device may be flexible or a combination of two or more of the various devices described above. An electronic device according to an embodiment of the present document is not limited to the aforementioned devices.

본 문서에서, 사용자라는 용어는 전자 장치를 사용하는 사람 또는 전자 장치를 사용하는 장치(예: 인공지능 전자 장치)를 지칭할 수 있다. In this document, the term user may refer to a person using an electronic device or a device using an electronic device (eg, an artificial intelligence electronic device).

도 1a 내지 도 1d는 본 발명의 다양한 실시예에 따른 전자 장치와 외부 장치를 도시한 도면이다.1A to 1D are diagrams illustrating an electronic device and an external device according to various embodiments of the present disclosure.

도 1a를 참조하면, 전자 장치(100)는 360도 촬영이 가능한 영상 촬영 장치일 수 있으며, 외부 장치(110)는 신체 착용이 가능한 장치일 수 있다. Referring to FIG. 1A , the electronic device 100 may be a video recording device capable of capturing 360 degrees, and the external device 110 may be a device worn on the body.

일 실시예에 따르면, 전자 장치(100)는 대략적으로 또는 완전한 구형의 하우징을 포함할 수 있다. 예를 들어, 전자 장치(100)는 전자 장치(100)의 전면(또는 후면)에 해당하는 제1 하우징(104) 및 전자 장치(100)의 후면(또는 전면)에 해당하는 제2 하우징(106)을 포함할 수 있다. According to an embodiment, the electronic device 100 may include a substantially or completely spherical housing. For example, the electronic device 100 includes a first housing 104 corresponding to the front (or back) of the electronic device 100 and a second housing 106 corresponding to the rear (or front) of the electronic device 100. ) may be included.

일 실시예에 따르면, 제1 하우징(104)은 제1 카메라 모듈(104-1)을 포함할 수 있다. 예를 들어, 제1 하우징(104)의 제1 면(예: 전면)에 제1 카메라 모듈(104-1)이 배치될 수 있다. 또한, 제1 카메라 모듈(104-1)의 최외곽에는 외부 충격으로부터 카메라 모듈(104-1)을 보호하기 위한 커버 및 넓은 광각 범위로부터 이미지를 획득하기 위한 렌즈를 적어도 하나 포함할 수 있다. According to one embodiment, the first housing 104 may include the first camera module 104-1. For example, the first camera module 104 - 1 may be disposed on the first surface (eg, the front surface) of the first housing 104 . In addition, a cover for protecting the camera module 104-1 from external impact and at least one lens for acquiring an image from a wide angle range may be included at the outermost portion of the first camera module 104-1.

일 실시예에 따르면, 제2 하우징(106)은 제2 카메라 모듈(106-2)을 포함할 수 있다. 예를 들어, 제2 하우징(106)의 제1 면(예: 전면)에 제2 카메라 모듈(106-2)이 배치될 수 있다. 또한, 제2 카메라 모듈(106-2)의 최외곽에는 외부 충격으로부터 카메라 모듈(106-2)을 보호하기 위한 커버 및 넓은 광각 범위로부터 이미지를 획득하기 위한 렌즈를 적어도 하나 포함할 수 있다. According to one embodiment, the second housing 106 may include a second camera module 106 - 2 . For example, the second camera module 106 - 2 may be disposed on the first surface (eg, the front surface) of the second housing 106 . In addition, a cover for protecting the camera module 106-2 from external impact and at least one lens for obtaining an image from a wide angle range may be included at the outermost part of the second camera module 106-2.

일 실시예에 따르면, 제1 하우징(104)의 제2 면(예: 후면)과 제2 하우징(106)의 제2 면(예: 후면)은 서로 맞닿을 수 있다. 예를 들어, 제1 하우징(104)의 일부와 제2 하우징(106)의 일부는 힌지 모듈(102)로 연결될 수 있다.According to one embodiment, the second surface (eg, rear surface) of the first housing 104 and the second surface (eg, rear surface) of the second housing 106 may come into contact with each other. For example, a portion of the first housing 104 and a portion of the second housing 106 may be connected by a hinge module 102 .

일 실시예에 따르면, 제1 하우징(104) 및 제2 하우징(106)의 무게 및/또는 크기는 서로 같거나 다를 수 있다. 예를 들어, 전자 장치(100)의 후면에 해당하는 제2 하우징(106)의 크기 및/또는 무게는 전자 장치의 전면에 해당하는 제1 하우징(104)의 크기 및/또는 무게보다 작을 수 있다. According to one embodiment, the weight and/or size of the first housing 104 and the second housing 106 may be equal to or different from each other. For example, the size and/or weight of the second housing 106 corresponding to the rear surface of the electronic device 100 may be smaller than the size and/or weight of the first housing 104 corresponding to the front surface of the electronic device. .

본 발명의 다양한 실시 예에 따르면, 전자 장치(100)는 미 도시되었지만 다양한 기능 부품이 배치될 수 있다. 예를 들어, 기능 부품은 마이크, 스피커, 표시부, 버튼, 램프 등을 포함할 수 있다.According to various embodiments of the present disclosure, although not shown in the electronic device 100, various functional parts may be disposed. For example, functional parts may include a microphone, a speaker, a display unit, a button, a lamp, and the like.

외부 장치(110)는 프레임(112), 착용부(114), 밴드부(116), 광학부(118) 및 디스플레이(122)를 포함할 수 있다.The external device 110 may include a frame 112 , a wearable part 114 , a band part 116 , an optical part 118 and a display 122 .

일 실시예에 따르면, 프레임(112)은 외부 장치(110)의 구성 요소들을 기능적 또는 물리적으로 연결시킬 수 있다. 또한, 프레임(112)은 사용자가 착용할 수 있게 얼굴 형상에 기반하여 적어도 일부 영역이 곡면 구조로 구성될 수 있다.According to one embodiment, the frame 112 may functionally or physically connect components of the external device 110 . In addition, at least a portion of the frame 112 may have a curved structure based on a face shape so that the user can wear the frame 112 .

일 실시예에 따르면, 프레임(112)은 사용자에 의한 디스플레이(122)의 초점을 조정하기 위한 초점 조절 모듈(ajustable optics)(120)을 포함할 수 있다. 예를 들어, 초점 조절 모듈(120)은 사용자의 시력에 적합한 이미지를 감상할 수 있도록 렌즈의 위치 또는 디스플레이(122)의 위치 중 적어도 하나를 조절할 수 있다. According to one embodiment, frame 112 may include adjustable optics 120 for adjusting the focus of display 122 by a user. For example, the focus control module 120 may adjust at least one of a position of a lens and a position of the display 122 so that an image suitable for the user's eyesight can be enjoyed.

착용부(114)는 사용자의 신체 일부에 접촉될 수 있다. 예를 들어, 착용부(114)는 탄성 소재로 형성된 밴드부(116)를 이용하여 프레임(112)이 사용자 얼굴의 눈 주위로 밀착되게 할 수 있다.The wearable part 114 may come into contact with a part of the user's body. For example, the wearable part 114 may use a band part 116 formed of an elastic material to allow the frame 112 to adhere closely around the eyes of the user's face.

광학부(118)는 사용자가 디스플레이(122)에 표시된 이미지를 확인할 수 있도록 구성될 수 있다. 예를 들어, 광학부(118)는 사용자가 디스플레이(122)에 표시된 이미지를 확인할 수 있도록 렌즈, 경통, 조리개를 포함할 수 있다.The optical unit 118 may be configured to allow a user to check an image displayed on the display 122 . For example, the optical unit 118 may include a lens, a lens barrel, and an aperture so that a user can check an image displayed on the display 122 .

디스플레이(122)는 사용자에게 각종 정보(예: 멀티미디어 데이터 또는 텍스트 데이터 등)을 표시할 수 있다. 예를 들어, 디스플레이(122)는 사용자에게 입체감을 느낄 수 있도록 사용자의 양안에 대응하는 우안 이미지와 좌안 이미지를 표시할 수 있다.The display 122 may display various types of information (eg, multimedia data or text data) to the user. For example, the display 122 may display a right eye image and a left eye image corresponding to both eyes of the user so that the user can feel a three-dimensional effect.

본 발명의 다양한 실시 예에 따르면, 외부 장치(110)는 미 도시되었지만 사용자의 제어 명령을 입력 받기 위한 입력수단과 오디오 데이터를 출력하기 위한 출력수단(예: 스피커)을 포함할 수 있다. 여기서, 입력 수단은 입력 인터페이스, 마이크, 카메라, 초음파 센서 등을 포함할 수 있다.According to various embodiments of the present disclosure, although not shown, the external device 110 may include an input means for receiving a user's control command and an output means (eg, a speaker) for outputting audio data. Here, the input means may include an input interface, a microphone, a camera, an ultrasonic sensor, and the like.

도 1b는 본 발명의 다양한 실시예에 따른 전자 장치의 구성을 나타내는 상측면도이다. 일 실시예에 따르면, 전자 장치는 도 1a에 도시된 전자 장치(100)와 동일한 장치일 수 있다.1B is a top side view illustrating a configuration of an electronic device according to various embodiments of the present disclosure. According to an embodiment, the electronic device may be the same as the electronic device 100 shown in FIG. 1A.

도 1b를 참조하면, 전자 장치(100)의 제1 하우징(104) 또는 제2 하우징(106)은 힌지 모듈(102)의 세로축을 기준으로 일정 각도 회전(130)할 수 있다. 예를 들어, 전자 장치(100)는 제1 하우징(104) 및/또는 제2 하우징(106)의 회전에 따라 영상 획득 방향을 변경할 수 있다.Referring to FIG. 1B , the first housing 104 or the second housing 106 of the electronic device 100 may rotate 130 at a predetermined angle with respect to the vertical axis of the hinge module 102 . For example, the electronic device 100 may change the image acquisition direction according to rotation of the first housing 104 and/or the second housing 106 .

일 실시예에 따르면, 제1 하우징(104) 및 제2 하우징(106)이 회전하지 않은 경우, 제1 카메라 모듈(104-1)이 배치되지 않은 제1 하우징(104)의 제2 면과 제2 카메라 모듈(106-2)이 배치되지 않은 제2 하우징(106)의 제2 면은 서로 맞닿을 수 있다. 예를 들어, 제1 하우징(104) 및 제2 하우징(106)이 회전하지 않은 경우, 전자 장치(100)는 제1 카메라 모듈(104-1) 및 제2 카메라 모듈(106-2)을 통해서 제1 방향에 대한 영상과 제2 방향에 대한 영상을 동시에 획득할 수 있다.According to one embodiment, when the first housing 104 and the second housing 106 do not rotate, the first camera module 104-1 is not disposed on the second surface of the first housing 104 and the second housing 104. The second surfaces of the second housing 106 on which the two camera modules 106-2 are not disposed may come into contact with each other. For example, when the first housing 104 and the second housing 106 do not rotate, the electronic device 100 operates through the first camera module 104-1 and the second camera module 106-2. An image of the first direction and an image of the second direction may be acquired simultaneously.

또한, 제1 하우징(104) 및/또는 제2 하우징(106)의 회전에 따라, 제1 하우징(104)의 제2 면과 제2 하우징(106)의 제2 면은 최대 180도의 각도를 이룰 수 있다. 예를 들어, 제1 하우징(104) 및 제2 하우징(106)이 일정 각도 이상을 유지하는 경우, 전자 장치(100)는 제1 카메라 모듈(104-1) 및 제2 카메라 모듈(106-2)을 통해서 제1 방향에 대하여 서로 다른 시점의 영상을 동시에 획득할 수 있다.In addition, as the first housing 104 and/or the second housing 106 rotate, the second surface of the first housing 104 and the second surface of the second housing 106 form an angle of up to 180 degrees. can For example, when the first housing 104 and the second housing 106 maintain a predetermined angle or more, the electronic device 100 includes the first camera module 104-1 and the second camera module 106-2. ), it is possible to simultaneously acquire images of different viewpoints in the first direction.

도 1c는 본 발명의 다양한 실시예에 따른 전자 장치의 카메라 모듈을 도시한 도면이다. 일 실시예에 따르면, 전자 장치는 도 1a에 도시된 전자 장치(100)와 동일한 장치일 수 있다.1C is a diagram illustrating a camera module of an electronic device according to various embodiments of the present disclosure. According to an embodiment, the electronic device may be the same as the electronic device 100 shown in FIG. 1A.

도 1c의 참조부호 140은 전자 장치(100)의 제1 하우징(104) 또는 제2 하우징(106)을 나타내는 평면도이다. 또한, 도 1c의 참조부호 150은 전자 장치(100)의 제1 하우징(104) 또는 제2 하우징(106)을 나타내는 평면도이다. 또한, 전자 장치(100)의 제1 하우징(104)이 일정 거리 이동한 상태를 나타내는 평면도이다.Reference numeral 140 in FIG. 1C is a plan view of the first housing 104 or the second housing 106 of the electronic device 100 . Also, reference numeral 150 in FIG. 1C is a plan view showing the first housing 104 or the second housing 106 of the electronic device 100 . Also, it is a plan view showing a state in which the first housing 104 of the electronic device 100 has moved a certain distance.

참조부호 140과 같이, 전자 장치(100)의 제1 하우징(104) 및/또는 제2 하우징(106) 중 적어도 하나의 하우징은 카메라 모듈을 유동시키는 구조(예: 레일)(144)를 포함할 수 있다. 예를 들어, 참조부호 150과 같이, 제1 카메라 모듈(104-1)을 포함하는 제1 하우징(104) 및/또는 제2 카메라 모듈(106-2)을 포함하는 제2 하우징(106)은 카메라 모듈을 유동시키는 구조에 의해 미리 지정된 범위 안에서 지정된 방향(예: 좌우 방향 또는 상하 방향)으로 이동될 수 있다. 예컨대, 제1 하우징(104) 및/또는 제2 하우징(106)의 이동에 따라 제1 카메라 모듈(104-1)과 제2 카메라 모듈(106-2) 사이의 거리가 변경될 수 있다. 또한, 카메라 모듈을 유동시키는 구조가 구동 구조(예: 모터)와 연결된 경우, 제1 카메라 모듈(104-1) 및/또는 제2 카메라 모듈(106-2)은 사용자에 의해 가해지는 힘과 상관없이 자동으로 이동될 수 있다. As indicated by reference numeral 140, at least one of the first housing 104 and/or the second housing 106 of the electronic device 100 may include a structure (eg, a rail) 144 for moving the camera module. can For example, as shown by reference numeral 150, the first housing 104 including the first camera module 104-1 and/or the second housing 106 including the second camera module 106-2 are The camera module may be moved in a designated direction (eg, left-right direction or up-down direction) within a predetermined range by the structure for moving the camera module. For example, the distance between the first camera module 104-1 and the second camera module 106-2 may be changed according to the movement of the first housing 104 and/or the second housing 106. In addition, when a structure for moving the camera module is connected to a driving structure (eg, a motor), the first camera module 104-1 and/or the second camera module 106-2 correlate with the force applied by the user. It can be moved automatically without

도 1d는 본 발명의 다양한 실시예에 따른 전자 장치의 다른 구성을 도시한 도면이다. 일 실시예에 따르면, 전자 장치는 도 1a에 도시된 전자 장치(100)와 동일한 장치일 수 있다.1D is a diagram illustrating another configuration of an electronic device according to various embodiments of the present disclosure. According to an embodiment, the electronic device may be the same as the electronic device 100 shown in FIG. 1A.

도 1d의 참조부호 160은 전자 장치(100)의 구성을 나타내는 측면도이다. 또한, 도 1d의 참조부호 170은 전자 장치(100)의 제1 하우징(104) 또는 제2 하우징(106)이 회전된 상태를 나타내는 정면도이다.Reference numeral 160 in FIG. 1D is a side view showing the configuration of the electronic device 100 . Also, reference numeral 170 in FIG. 1D is a front view illustrating a state in which the first housing 104 or the second housing 106 of the electronic device 100 is rotated.

도 1d를 참조하면, 전자 장치(100)의 제1 하우징(104) 및/또는 제2 하우징(106) 중 적어도 하나의 하우징의 크기 및/또는 무게는 다른 하우징의 크기 및/또는 무게와 다를 수 있다. 예를 들어, 참조부호 160과 같이, 전자 장치(100)의 후면에 해당하는 제2 하우징(106)의 크기는 전자 장치(100)의 전면에 해당하는 제1 하우징(104)의 크기보다 작을 수 있다. 또한, 전자 장치(100)의 후면에 해당하는 제2 하우징(106)의 무게는 전자 장치(100)의 전면에 해당하는 제1 하우징(104)의 무게보다 적을 수 있다. 예컨대, 상대적으로 크기가 작거나 무게가 적은 제2 하우징(106)은 제1 하우징(104)보다 적은 구성을 포함할 수 있다. 예를 들어, 제1 하우징(104)은 전자 장치(100)의 동작을 위한 구성(예: 프로세서, 제1 카메라 모듈, 입력수단, 출력수단, 센서 등)을 포함할 수 있고, 제2 하우징(106)은 영상을 획득하기 위한 제2 카메라 모듈을 포함할 수 있다. 또한, 참조부호 170과 같이, 제2 하우징(106)은, 제1 하우징(104)과 연결된 힌지 모듈(102)에 의해 회전될 수 있다. Referring to FIG. 1D , the size and/or weight of at least one of the first housing 104 and/or the second housing 106 of the electronic device 100 may be different from the size and/or weight of other housings. there is. For example, as shown by reference numeral 160, the size of the second housing 106 corresponding to the rear surface of the electronic device 100 may be smaller than the size of the first housing 104 corresponding to the front surface of the electronic device 100. there is. Also, the weight of the second housing 106 corresponding to the rear surface of the electronic device 100 may be less than the weight of the first housing 104 corresponding to the front surface of the electronic device 100 . For example, the second housing 106 having a relatively small size or light weight may include fewer components than the first housing 104 . For example, the first housing 104 may include components for operating the electronic device 100 (eg, a processor, a first camera module, an input unit, an output unit, a sensor, etc.), and the second housing ( 106) may include a second camera module for obtaining an image. Also, as indicated by reference numeral 170 , the second housing 106 may be rotated by the hinge module 102 connected to the first housing 104 .

도 2를 참조하여, 다양한 실시예에서의, 네트워크 환경(200) 내의 전자 장치(201)가 기재된다. 일 실시예에 따르면, 전자 장치(201)는 도 1a에 도시된 전자 장치(100)의 전체 또는 일부를 포함할 수 있다. Referring to FIG. 2 , an electronic device 201 in a network environment 200 in various embodiments is described. According to an embodiment, the electronic device 201 may include all or part of the electronic device 100 shown in FIG. 1A.

전자 장치(201)는 버스(210), 프로세서(220), 메모리(230), 입출력 인터페이스(250), 디스플레이(260), 및 통신 인터페이스(270)를 포함할 수 있다. 어떤 실시예에서는, 전자 장치(201)는, 구성요소들 중 적어도 하나를 생략하거나 다른 구성요소를 추가적으로 구비할 수 있다. The electronic device 201 may include a bus 210, a processor 220, a memory 230, an input/output interface 250, a display 260, and a communication interface 270. In some embodiments, the electronic device 201 may omit at least one of the components or may additionally include other components.

버스(210)는 구성요소들(210-270)을 서로 연결하고, 구성요소들 간의 통신(예: 제어 메시지 또는 데이터)을 전달하는 회로를 포함할 수 있다. Bus 210 may include circuitry that connects components 210 - 270 to each other and communicates (eg, control messages or data) between components.

프로세서(220)는, 중앙처리장치, 어플리케이션 프로세서, 또는 커뮤니케이션 프로세서(communication processor(CP)) 중 하나 또는 그 이상을 포함할 수 있다. 프로세서(220)는, 예를 들면, 전자 장치(201)의 적어도 하나의 다른 구성요소들의 제어 및/또는 통신에 관한 연산이나 데이터 처리를 실행할 수 있다. The processor 220 may include one or more of a central processing unit, an application processor, or a communication processor (CP). The processor 220 may, for example, execute calculations or data processing related to control and/or communication of at least one other component of the electronic device 201 .

일 실시예에 따르면, 프로세서(220)는 카메라 모듈(예: 제1 카메라 모듈(104-1) 및 제2 카메라 모듈(106-2))을 통해 획득된 영상(예: 정적인 영상, 동적인 영상 등)을 이용하여 촬영 모드에 대응하는 영상을 생성할 수 있다. 예를 들어, 프로세서(220)는 카메라 모듈을 통해 획득된 영상을 이용하여 파노라마 영상(예: 360도 파노라마 영상) 또는 스테레오스코픽 영상을 생성할 수 있다. According to an embodiment, the processor 220 may perform images (eg, static images, dynamic images) acquired through camera modules (eg, the first camera module 104-1 and the second camera module 106-2). An image corresponding to a photographing mode may be generated by using an image, etc.). For example, the processor 220 may generate a panoramic image (eg, a 360-degree panoramic image) or a stereoscopic image using an image acquired through a camera module.

일 실시예에 따르면, 프로세서(220)는 제1 카메라 모듈(104-1)을 포함하는 제1 하우징(104) 및 제2 카메라 모듈(106-2)을 포함하는 제2 하우징(106) 중 적어도 하나의 하우징에 대한 회전 상태에 기반하여 촬영 모드를 결정할 수 있다. 예를 들어, 제1 카메라 모듈(104-1)이 제1 방향(예: 전자 장치의 전면)으로 향하고, 제2 카메라 모듈(106-2)이 제2 방향(예: 전자 장치의 후면)으로 향하도록 하우징이 회전된 경우, 프로세서(220)는 360도 파노라마 영상을 생성하기 위한 촬영 모드로 판단할 수 있다. 또한, 제1 카메라 모듈(104-1)과 제2 카메라 모듈(106-2)이 제1 방향(예: 전자 장치의 전면)으로 향하도록 하우징이 회전된 경우, 프로세서(220)는 스테레오스코픽 영상을 생성하기 위한 촬영 모드로 판단할 수 있다.According to one embodiment, the processor 220 includes at least one of a first housing 104 including a first camera module 104-1 and a second housing 106 including a second camera module 106-2. A photographing mode may be determined based on a rotation state of one housing. For example, the first camera module 104-1 faces in a first direction (eg, the front of the electronic device), and the second camera module 106-2 faces in a second direction (eg, the back of the electronic device). When the housing is rotated so as to face, the processor 220 may determine a shooting mode for generating a 360-degree panoramic image. In addition, when the housing is rotated so that the first camera module 104-1 and the second camera module 106-2 face in the first direction (eg, the front of the electronic device), the processor 220 generates a stereoscopic image. It can be determined as a shooting mode for generating .

일 실시예에 따르면, 360도 파노라마 영상을 생성하기 위한 촬영 모드가 판단되면, 프로세서(220)는 제1 화각에 기반하여 영상을 획득할 수 있다. 예를 들어, 프로세서(220)는 제1 카메라 모듈(104-1)을 통해 제1 방향에 대한 제1 화각의 영상이 획득되도록 처리할 수 있다. 또한, 프로세서(220)는 제2 카메라 모듈(106-2)을 통해 제2 방향에 대한 제1 화각의 영상이 획득되도록 처리할 수 있다. 프로세서(220)는 360도 파노라마 영상을 생성하기 위하여 적어도 일부가 중첩되는 영상을 획득할 수 있다. 예를 들어, 프로세서(220)는 제1 화각을 180도 이상으로 설정할 수 있다. According to an embodiment, when a shooting mode for generating a 360-degree panoramic image is determined, the processor 220 may obtain an image based on the first angle of view. For example, the processor 220 may process an image of a first angle of view in a first direction to be obtained through the first camera module 104-1. In addition, the processor 220 may process an image of a first angle of view in the second direction to be obtained through the second camera module 106-2. The processor 220 may obtain images overlapping at least part of them in order to generate a 360-degree panoramic image. For example, the processor 220 may set the first angle of view to 180 degrees or more.

일 실시예에 따르면, 스테레오스코픽 영상을 생성하기 위한 촬영 모드가 판단되면, 프로세서(220)는 제2 화각에 기반하여 영상을 획득할 수 있다. 예를 들어, 프로세서(220)는 제1 카메라 모듈(104-1)을 통해 제1 방향에 대한 제2 화각의 영상(예: 좌안 영상)이 획득되도록 처리할 수 있다. 또한, 프로세서(220)는 제2 카메라 모듈(160-1)을 통해 제1 방향에 대한 제2 화각의 영상(예: 우안 영상)이 획득되도록 처리할 수 있다. 예컨대, 제2 화각은 제1 화각보다 상대적으로 적은 각도일 수 있다.According to an embodiment, when a shooting mode for generating a stereoscopic image is determined, the processor 220 may acquire an image based on the second angle of view. For example, the processor 220 may process an image (eg, a left eye image) of a second angle of view with respect to the first direction to be obtained through the first camera module 104-1. In addition, the processor 220 may process an image (eg, a right eye image) of a second angle of view in the first direction to be acquired through the second camera module 160-1. For example, the second angle of view may be a relatively smaller angle than the first angle of view.

일 실시예에 따르면, 프로세서(220)는 제1 카메라 모듈(104-1) 및 제2 카메라 모듈(106-2)을 통해 획득된 영상을 이용하여 360도 파노라마 영상 또는 스테레오스코픽 영상을 생성할 수 있다.According to an embodiment, the processor 220 may generate a 360-degree panoramic image or a stereoscopic image using images obtained through the first camera module 104-1 and the second camera module 106-2. there is.

예를 들어, 360도 파노라마 영상을 생성하기 위한 촬영 모드를 통해 영상을 획득한 경우, 프로세서(220)는 제1 카메라 모듈(104-1) 및 제2 카메라 모듈(106-2)을 통해 획득된 영상에 대한 중접 부분을 연결함으로써 파노라마 영상을 생성할 수 있다. 예컨대, 프로세서(220)는 180도 이상의 화각을 가지는 영상을 이용하여 360도 파노라마 영상을 생성할 수 있다.For example, when an image is obtained through a photographing mode for generating a 360-degree panoramic image, the processor 220 uses the first camera module 104-1 and the second camera module 106-2 to acquire the image. A panoramic image can be created by connecting the overlapping parts of the image. For example, the processor 220 may generate a 360-degree panoramic image using an image having an angle of view of 180 degrees or greater.

다른 예로, 스테레오스코픽 영상을 생성하기 위한 촬영 모드를 통해 영상을 획득한 경우, 프로세서(220)는 제1 카메라 모듈(104-1) 및 제2 카메라 모듈(106-2)을 통해 획득된 영상을 하나의 영상으로 인코딩함으로써 스테레오스코픽 영상을 생성할 수 있다. As another example, when an image is obtained through a photographing mode for generating a stereoscopic image, the processor 220 converts the image obtained through the first camera module 104-1 and the second camera module 106-2. A stereoscopic image may be generated by encoding a single image.

메모리(230)는, 휘발성 및/또는 비휘발성 메모리를 포함할 수 있다. 메모리(230)는, 예를 들면, 전자 장치(201)의 적어도 하나의 다른 구성요소에 관계된 명령 또는 데이터를 저장할 수 있다. 일 실시예에 따르면, 메모리(230)는 촬영 모드와 연관된 촬영 정보를 저장할 수 있다. 예컨대, 촬영 정보는 촬영 모드에 대응하는 화각, 촬영 모드에 대응하는 제1 카메라 모듈(104-1) 및 제2 카메라 모듈(106-2) 사이의 거리 정보를 포함할 수 있다.Memory 230 may include volatile and/or non-volatile memory. The memory 230 may store, for example, commands or data related to at least one other component of the electronic device 201 . According to an embodiment, the memory 230 may store photographing information related to a photographing mode. For example, the photographing information may include an angle of view corresponding to the photographing mode and distance information between the first camera module 104 - 1 and the second camera module 106 - 2 corresponding to the photographing mode.

일 실시예에 따르면, 메모리(230)는 소프트웨어 및/또는 프로그램(240)을 저장할 수 있다. 프로그램(240)은, 예를 들면, 커널(241), 미들웨어(243), 어플리케이션 프로그래밍 인터페이스(API)(245), 및/또는 어플리케이션 프로그램(또는 "어플리케이션")(247) 등을 포함할 수 있다. 커널(241), 미들웨어(243), 또는 API(245)의 적어도 일부는, 운영 시스템으로 지칭될 수 있다. According to one embodiment, memory 230 may store software and/or programs 240 . The program 240 may include, for example, a kernel 241, middleware 243, an application programming interface (API) 245, and/or an application program (or “application”) 247, and the like. . At least part of the kernel 241, middleware 243, or API 245 may be referred to as an operating system.

커널(241)은, 예를 들면, 다른 프로그램들(예: 미들웨어(243), API(245), 또는 어플리케이션 프로그램(247))에 구현된 동작 또는 기능을 실행하는 데 사용되는 시스템 리소스들(예: 버스(210), 프로세서(220), 또는 메모리(230) 등)을 제어 또는 관리할 수 있다. 또한, 커널(241)은 미들웨어(243), API(245), 또는 어플리케이션 프로그램(247)에서 전자 장치(201)의 개별 구성요소에 접근함으로써, 시스템 리소스들을 제어 또는 관리할 수 있는 인터페이스를 제공할 수 있다. Kernel 241, for example, provides system resources (eg, middleware 243, API 245, or application program 247) used to execute operations or functions implemented in other programs (eg, middleware 243, API 245, or application program 247). : The bus 210, the processor 220, or the memory 230, etc.) can be controlled or managed. In addition, the kernel 241 may provide an interface capable of controlling or managing system resources by accessing individual components of the electronic device 201 from the middleware 243, API 245, or application program 247. can

미들웨어(243)는, 예를 들면, API(245) 또는 어플리케이션 프로그램(247)이 커널(241)과 통신하여 데이터를 주고받을 수 있도록 중개 역할을 수행할 수 있다. 또한, 미들웨어(243)는 어플리케이션 프로그램(247)으로부터 수신된 하나 이상의 작업 요청들을 우선 순위에 따라 처리할 수 있다. 예를 들면, 미들웨어(243)는 어플리케이션 프로그램(247) 중 적어도 하나에 전자 장치(201)의 시스템 리소스(예: 버스(210), 프로세서(220), 또는 메모리(230) 등)를 사용할 수 있는 우선 순위를 부여하고, 상기 하나 이상의 작업 요청들을 처리할 수 있다. The middleware 243 may perform an intermediary role so that, for example, the API 245 or the application program 247 communicates with the kernel 241 to exchange data. Also, the middleware 243 may process one or more job requests received from the application program 247 according to priority. For example, the middleware 243 may use system resources (eg, the bus 210, the processor 220, or the memory 230, etc.) of the electronic device 201 for at least one of the application programs 247. Prioritize and process the one or more work requests.

API(245)는 어플리케이션(247)이 커널(241) 또는 미들웨어(243)에서 제공되는 기능을 제어하기 위한 인터페이스로, 예를 들면, 파일 제어, 창 제어, 영상 처리, 또는 문자 제어 등을 위한 적어도 하나의 인터페이스 또는 함수(예: 명령어)를 포함할 수 있다.The API 245 is an interface for the application 247 to control functions provided by the kernel 241 or the middleware 243, for example, at least for file control, window control, image processing, or character control. It can contain one interface or function (eg command).

입출력 인터페이스(250)는, 예를 들면, 사용자 또는 다른 외부 기기로부터 입력된 명령 또는 데이터를 전자 장치(201)의 다른 구성요소(들)에 전달하거나, 또는 전자 장치(201)의 다른 구성요소(들)로부터 수신된 명령 또는 데이터를 사용자 또는 다른 외부 기기로 출력할 수 있다. The input/output interface 250 transmits, for example, commands or data input from a user or other external device to other element(s) of the electronic device 201, or other elements of the electronic device 201 ( s) may output commands or data received from the user or other external devices.

디스플레이(260)는, 예를 들면, 액정 디스플레이(LCD), 발광 다이오드(LED) 디스플레이, 유기 발광 다이오드(OLED) 디스플레이, 또는 마이크로 전자기계 시스템 (MEMS) 디스플레이, 또는 전자종이(electronic paper) 디스플레이를 포함할 수 있다. 디스플레이(260)는, 예를 들면, 사용자에게 각종 콘텐츠(예: 텍스트, 이미지, 비디오, 아이콘, 및/또는 심볼 등)을 표시할 수 있다. 디스플레이(260)는, 터치 스크린을 포함할 수 있으며, 예를 들면, 전자 펜 또는 사용자의 신체의 일부를 이용한 터치, 제스쳐, 근접, 또는 호버링 입력을 수신할 수 있다. 예를 들어, 디스플레이(260)는 압력 패널을 포함할 수 있으며, 사용자의 신체의 일부 또는 부도체(nonconductor)에 의한 압력 입력을 수신할 수 있다.The display 260 may be, for example, a liquid crystal display (LCD), a light emitting diode (LED) display, an organic light emitting diode (OLED) display, a microelectromechanical systems (MEMS) display, or an electronic paper display. can include The display 260 may display various contents (eg, text, image, video, icon, and/or symbol) to the user. The display 260 may include a touch screen, and may receive, for example, a touch, gesture, proximity, or hovering input using an electronic pen or a part of the user's body. For example, the display 260 may include a pressure panel and may receive a pressure input by a part of the user's body or a nonconductor.

통신 인터페이스(270)는, 예를 들면, 전자 장치(201)와 외부 장치(예: 제 1 외부 전자 장치(202), 제 2 외부 전자 장치(204), 또는 서버(206)) 간의 통신을 설정할 수 있다. 예를 들면, 통신 인터페이스(270)는 무선 통신 또는 유선 통신을 통해서 네트워크(262)에 연결되어 외부 장치(예: 제 2 외부 전자 장치(204) 또는 서버(206))와 통신할 수 있다. 무선 통신은, 예를 들면, LTE, LTE-A(LTE Advance), CDMA(code division multiple access), WCDMA(wideband CDMA), UMTS(universal mobile telecommunications system), WiBro(Wireless Broadband), 또는 GSM(Global System for Mobile Communications) 등 중 적어도 하나를 사용하는 셀룰러 통신을 포함할 수 있다. 일 실시예에 따르면, 무선 통신은, 예를 들면, WiFi(wireless fidelity), 블루투스, 블루투스 저전력(BLE), 지그비(Zigbee), NFC(near field communication), 자력 시큐어 트랜스미션(Magnetic Secure Transmission), 라디오 프리퀀시(RF), 또는 보디 에어리어 네트워크(BAN) 중 적어도 하나를 포함할 수 있다. 한실시예에 따르면, 무선 통신은 GNSS를 포함할 수 있다. GNSS는, 예를 들면, GPS(Global Positioning System), Glonass(Global Navigation Satellite System), Beidou Navigation Satellite System(이하 "Beidou") 또는 Galileo, the European global satellite-based navigation system일 수 있다. 이하, 본 문서에서는, "GPS"는 "GNSS"와 상호 호환적으로 사용될 수 있다. 유선 통신은, 예를 들면, USB(universal serial bus), HDMI(high definition multimedia interface), RS-232(recommended standard232), 전력선 통신, 또는 POTS(plain old telephone service) 등 중 적어도 하나를 포함할 수 있다. The communication interface 270 establishes communication between the electronic device 201 and an external device (eg, the first external electronic device 202 , the second external electronic device 204 , or the server 206 ). can For example, the communication interface 270 may be connected to the network 262 through wireless or wired communication to communicate with an external device (eg, the second external electronic device 204 or the server 206). Wireless communication is, for example, LTE, LTE-A (LTE Advance), CDMA (code division multiple access), WCDMA (wideband CDMA), UMTS (universal mobile telecommunications system), WiBro (Wireless Broadband), or GSM (Global System for Mobile Communications) may include cellular communication using at least one of the like. According to one embodiment, wireless communication, for example, WiFi (wireless fidelity), Bluetooth, Bluetooth Low Energy (BLE), Zigbee (Zigbee), near field communication (NFC), magnetic secure transmission (Magnetic Secure Transmission), radio It may include at least one of a frequency (RF) and a body area network (BAN). According to one embodiment, wireless communication may include GNSS. The GNSS may be, for example, a Global Positioning System (GPS), a Global Navigation Satellite System (Glonass), a Beidou Navigation Satellite System (hereinafter “Beidou”) or Galileo, the European global satellite-based navigation system. Hereinafter, in this document, "GPS" may be used interchangeably with "GNSS". Wired communication may include, for example, at least one of universal serial bus (USB), high definition multimedia interface (HDMI), recommended standard 232 (RS-232), power line communication, or plain old telephone service (POTS). there is.

네트워크(262)는 텔레커뮤니케이션 네트워크, 예를 들면, 컴퓨터 네트워크(예: LAN 또는 WAN), 인터넷, 또는 텔레폰 네트워크 중 적어도 하나를 포함할 수 있다.Network 262 may include at least one of a telecommunications network, for example, a computer network (eg, LAN or WAN), the Internet, or a telephone network.

제 1 및 제 2 외부 전자 장치(202, 204) 각각은 전자 장치(201)와 동일한 또는 다른 종류의 장치일 수 있다. 다양한 실시예에 따르면, 전자 장치(201)에서 실행되는 동작들의 전부 또는 일부는 다른 하나 또는 복수의 전자 장치(예: 전자 장치(202,204), 또는 서버(206)에서 실행될 수 있다. 일 실시예에 따르면, 전자 장치(201)가 어떤 기능이나 서비스를 자동으로 또는 요청에 의하여 수행해야 할 경우에, 전자 장치(201)는 기능 또는 서비스를 자체적으로 실행시키는 대신에 또는 추가적으로, 그와 연관된 적어도 일부 기능을 다른 장치(예: 전자 장치(202, 204), 또는 서버(206))에게 요청할 수 있다. 다른 전자 장치(예: 전자 장치(202, 204), 또는 서버(206))는 요청된 기능 또는 추가 기능을 실행하고, 그 결과를 전자 장치(201)로 전달할 수 있다. 전자 장치(201)는 수신된 결과를 그대로 또는 추가적으로 처리하여 요청된 기능이나 서비스를 제공할 수 있다. 이를 위하여, 예를 들면, 클라우드 컴퓨팅, 분산 컴퓨팅, 또는 클라이언트-서버 컴퓨팅 기술이 이용될 수 있다.Each of the first and second external electronic devices 202 and 204 may be the same as or different from the electronic device 201 . According to various embodiments, all or part of operations executed in the electronic device 201 may be executed in one or more electronic devices (eg, the electronic devices 202 and 204, or the server 206). According to this, when the electronic device 201 needs to perform a certain function or service automatically or upon request, the electronic device 201 instead of or in addition to executing the function or service itself, at least some functions related thereto may request another device (eg, the electronic device 202 or 204 or the server 206). The additional function may be executed and the result may be delivered to the electronic device 201. The electronic device 201 may provide the requested function or service by processing the received result as it is or additionally. For example, cloud computing, distributed computing, or client-server computing technologies may be used.

도 3은 다양한 실시예에 따른 전자 장치(301)의 블록도이다. 3 is a block diagram of an electronic device 301 according to various embodiments.

전자 장치(301)는, 예를 들면, 도 2에 도시된 전자 장치(201)의 전체 또는 일부를 포함할 수 있다. 전자 장치(301)는 하나 이상의 프로세서(예: AP)(310), 통신 모듈(320), 가입자 식별 모듈(324), 메모리(330), 센서 모듈(340), 입력 장치(350), 디스플레이(360), 인터페이스(370), 오디오 모듈(380), 카메라 모듈(391), 전력 관리 모듈(395), 배터리(396), 인디케이터(397), 및/또는 모터(398)를 포함할 수 있다. The electronic device 301 may include all or part of the electronic device 201 shown in FIG. 2 , for example. The electronic device 301 includes one or more processors (eg, AP) 310, a communication module 320, a subscriber identification module 324, a memory 330, a sensor module 340, an input device 350, a display ( 360), an interface 370, an audio module 380, a camera module 391, a power management module 395, a battery 396, an indicator 397, and/or a motor 398.

프로세서(310)는, 예를 들면, 운영 체제 또는 응용 프로그램을 구동하여 프로세서(310)에 연결된 다수의 하드웨어 또는 소프트웨어 구성요소들을 제어할 수 있고, 각종 데이터 처리 및 연산을 수행할 수 있다. 프로세서(310)는, 예를 들면, SoC(system on chip)로 구현될 수 있다. 일 실시예에 따르면, 프로세서(310)는 GPU(graphic processing unit) 및/또는 이미지 신호 프로세서를 더 포함할 수 있다. The processor 310 may control a plurality of hardware or software components connected to the processor 310 by driving, for example, an operating system or an application program, and may perform various data processing and calculations. The processor 310 may be implemented as, for example, a system on chip (SoC). According to one embodiment, the processor 310 may further include a graphic processing unit (GPU) and/or an image signal processor.

프로세서(310)는 도 2에 도시된 구성요소들 중 적어도 일부(예: 셀룰러 모듈(321))를 포함할 수도 있다. 프로세서(310)는 다른 구성요소들(예: 비휘발성 메모리) 중 적어도 하나로부터 수신된 명령 또는 데이터를 휘발성 메모리에 로드)하여 처리하고, 결과 데이터를 비휘발성 메모리에 저장할 수 있다. The processor 310 may include at least some of the components shown in FIG. 2 (eg, the cellular module 321). The processor 310 may load and process a command or data received from at least one of the other components (eg, non-volatile memory) into a volatile memory, and store resultant data in the non-volatile memory.

통신 모듈(320)(예: 통신 인터페이스(270))와 동일 또는 유사한 구성을 가질 수 있다. 통신 모듈(320)은, 예를 들면, 셀룰러 모듈(321), WiFi 모듈(323), 블루투스 모듈(325), GNSS 모듈(327), NFC 모듈(328) 및 RF 모듈(329)를 포함할 수 있다. 셀룰러 모듈(321)은, 예를 들면, 통신망을 통해서 음성 통화, 영상 통화, 문자 서비스, 또는 인터넷 서비스 등을 제공할 수 있다. 일 실시예에 따르면, 셀룰러 모듈(321)은 가입자 식별 모듈(예: SIM 카드)(324)을 이용하여 통신 네트워크 내에서 전자 장치(301)의 구별 및 인증을 수행할 수 있다. 일 실시예에 따르면, 셀룰러 모듈(321)은 프로세서(310)가 제공할 수 있는 기능 중 적어도 일부 기능을 수행할 수 있다. 일 실시예에 따르면, 셀룰러 모듈(321)은 커뮤니케이션 프로세서(CP)를 포함할 수 있다. 어떤 실시예에 따르면, 셀룰러 모듈(321), WiFi 모듈(323), 블루투스 모듈(325), GNSS 모듈(327) 또는 NFC 모듈(328) 중 적어도 일부(예: 두 개 이상)는 하나의 integrated chip(IC) 또는 IC 패키지 내에 포함될 수 있다. RF 모듈(329)은, 예를 들면, 통신 신호(예: RF 신호)를 송수신할 수 있다. RF 모듈(329)은, 예를 들면, 트랜시버, PAM(power amp module), 주파수 필터, LNA(low noise amplifier), 또는 안테나 등을 포함할 수 있다. 다른 실시예에 따르면, 셀룰러 모듈(321), WiFi 모듈(323), 블루투스 모듈(325), GNSS 모듈(327) 또는 NFC 모듈(328) 중 적어도 하나는 별개의 RF 모듈을 통하여 RF 신호를 송수신할 수 있다. It may have the same or similar configuration as the communication module 320 (eg, the communication interface 270). The communication module 320 may include, for example, a cellular module 321, a WiFi module 323, a Bluetooth module 325, a GNSS module 327, an NFC module 328 and an RF module 329. there is. The cellular module 321 may provide, for example, a voice call, a video call, a text service, or an Internet service through a communication network. According to an embodiment, the cellular module 321 may identify and authenticate the electronic device 301 within a communication network using the subscriber identity module (eg, SIM card) 324 . According to one embodiment, the cellular module 321 may perform at least some of the functions that the processor 310 may provide. According to one embodiment, the cellular module 321 may include a communication processor (CP). According to some embodiments, at least some (eg, two or more) of the cellular module 321, the WiFi module 323, the Bluetooth module 325, the GNSS module 327, or the NFC module 328 are one integrated chip (IC) or within an IC package. The RF module 329 may transmit and receive communication signals (eg, RF signals), for example. The RF module 329 may include, for example, a transceiver, a power amp module (PAM), a frequency filter, a low noise amplifier (LNA), or an antenna. According to another embodiment, at least one of the cellular module 321, the WiFi module 323, the Bluetooth module 325, the GNSS module 327, or the NFC module 328 transmits and receives an RF signal through a separate RF module. can

가입자 식별 모듈(324)은, 예를 들면, 가입자 식별 모듈을 포함하는 카드 또는 임베디드 SIM을 포함할 수 있으며, 고유한 식별 정보(예: ICCID(integrated circuit card identifier)) 또는 가입자 정보(예: IMSI(international mobile subscriber identity))를 포함할 수 있다. The subscriber identification module 324 may include, for example, a card or embedded SIM including a subscriber identification module, and unique identification information (eg, integrated circuit card identifier (ICCID)) or subscriber information (eg, IMSI). (international mobile subscriber identity)).

메모리(330)(예: 메모리(230))는, 예를 들면, 내장 메모리(332) 또는 외장 메모리(334)를 포함할 수 있다. 내장 메모리(332)는, 예를 들면, 휘발성 메모리(예: DRAM, SRAM, 또는 SDRAM 등), 비휘발성 메모리(예: OTPROM(one time programmable ROM), PROM, EPROM, EEPROM, mask ROM, flash ROM, 플래시 메모리, 하드 드라이브, 또는 솔리드 스테이트 드라이브 (SSD) 중 적어도 하나를 포함할 수 있다. 외장 메모리(334)는 플래시 드라이브(flash drive), 예를 들면, CF(compact flash), SD(secure digital), Micro-SD, Mini-SD, xD(extreme digital), MMC(multi-media card) 또는 메모리 스틱 등을 포함할 수 있다. 외장 메모리(334)는 다양한 인터페이스를 통하여 전자 장치(301)와 기능적으로 또는 물리적으로 연결될 수 있다.The memory 330 (eg, the memory 230) may include, for example, an internal memory 332 or an external memory 334. The built-in memory 332 may include, for example, volatile memory (eg, DRAM, SRAM, or SDRAM, etc.), non-volatile memory (eg, OTPROM (one time programmable ROM), PROM, EPROM, EEPROM, mask ROM, flash ROM). , a flash memory, a hard drive, or a solid state drive (SSD).The external memory 334 may include a flash drive, for example, a compact flash (CF) or secure digital (SD). ), Micro-SD, Mini-SD, extreme digital (xD), multi-media card (MMC), or memory stick, etc. The external memory 334 is functionally connected to the electronic device 301 through various interfaces. can be physically or physically connected.

센서 모듈(340)은, 예를 들면, 물리량을 계측하거나 전자 장치(301)의 작동 상태를 감지하여, 계측 또는 감지된 정보를 전기 신호로 변환할 수 있다. 센서 모듈(340)은, 예를 들면, 제스처 센서(340A), 자이로 센서(340B), 기압 센서(340C), 마그네틱 센서(340D), 가속도 센서(340E), 그립 센서(340F), 근접 센서(340G), 컬러(color) 센서(340H)(예: RGB(red, green, blue) 센서), 생체 센서(340I), 온/습도 센서(340J), 조도 센서(340K), 또는 UV(ultra violet) 센서(340M) 중의 적어도 하나를 포함할 수 있다. 추가적으로 또는 대체적으로, 센서 모듈(340)은, 예를 들면, 후각(e-nose) 센서, 일렉트로마이오그라피(EMG) 센서, 일렉트로엔씨팔로그램(EEG) 센서, 일렉트로카디오그램(ECG) 센서, IR(infrared) 센서, 홍채 센서 및/또는 지문 센서를 포함할 수 있다. 센서 모듈(340)은 그 안에 속한 적어도 하나 이상의 센서들을 제어하기 위한 제어 회로를 더 포함할 수 있다. 어떤 실시예에서는, 전자 장치(301)는 프로세서(310)의 일부로서 또는 별도로, 센서 모듈(340)을 제어하도록 구성된 프로세서를 더 포함하여, 프로세서(310)가 슬립(sleep) 상태에 있는 동안, 센서 모듈(340)을 제어할 수 있다.The sensor module 340 may, for example, measure a physical quantity or detect an operating state of the electronic device 301 and convert the measured or sensed information into an electrical signal. The sensor module 340 includes, for example, a gesture sensor 340A, a gyro sensor 340B, an air pressure sensor 340C, a magnetic sensor 340D, an acceleration sensor 340E, a grip sensor 340F, and a proximity sensor ( 340G), color sensor (340H) (e.g. RGB (red, green, blue) sensor), bio sensor (340I), temperature/humidity sensor (340J), light sensor (340K), or UV (ultra violet) ) may include at least one of the sensors 340M. Additionally or alternatively, the sensor module 340 may include, for example, an e-nose sensor, an electromyography (EMG) sensor, an electroencephalogram (EEG) sensor, an electrocardiogram (ECG) sensor, It may include an IR (infrared) sensor, an iris sensor, and/or a fingerprint sensor. The sensor module 340 may further include a control circuit for controlling one or more sensors included therein. In some embodiments, the electronic device 301 further includes a processor configured to control the sensor module 340, either as part of the processor 310 or separately, so that while the processor 310 is in a sleep state, The sensor module 340 may be controlled.

입력 장치(350)는, 예를 들면, 터치 패널(352), (디지털) 펜 센서(354), 키(356), 또는 초음파 입력 장치(358)를 포함할 수 있다. 터치 패널(352)은, 예를 들면, 정전식, 감압식, 적외선 방식, 또는 초음파 방식 중 적어도 하나의 방식을 사용할 수 있다. 또한, 터치 패널(352)은 제어 회로를 더 포함할 수도 있다. 터치 패널(352)은 택타일 레이어(tactile layer)를 더 포함하여, 사용자에게 촉각 반응을 제공할 수 있다. (디지털) 펜 센서(354)는, 예를 들면, 터치 패널의 일부이거나, 별도의 인식용 쉬트를 포함할 수 있다. 키(356)는, 예를 들면, 물리적인 버튼, 광학식 키, 또는 키패드를 포함할 수 있다. 초음파 입력 장치(358)는 마이크(예: 마이크(388))를 통해, 입력 도구에서 발생된 초음파를 감지하여, 상기 감지된 초음파에 대응하는 데이터를 확인할 수 있다.The input device 350 may include, for example, a touch panel 352 , a (digital) pen sensor 354 , a key 356 , or an ultrasonic input device 358 . The touch panel 352 may use at least one of, for example, a capacitive type, a pressure-sensitive type, an infrared type, or an ultrasonic type. Also, the touch panel 352 may further include a control circuit. The touch panel 352 may further include a tactile layer to provide a tactile response to the user. The (digital) pen sensor 354 may be, for example, part of a touch panel or may include a separate recognition sheet. Keys 356 may include, for example, physical buttons, optical keys, or keypads. The ultrasonic input device 358 may detect ultrasonic waves generated from an input tool through a microphone (eg, the microphone 388) and check data corresponding to the detected ultrasonic waves.

디스플레이(360)(예: 디스플레이(260))는 패널(362), 홀로그램 장치(364), 프로젝터(366), 및/또는 이들을 제어하기 위한 제어 회로를 포함할 수 있다. 패널(362)은, 예를 들면, 유연하게, 투명하게, 또는 착용할 수 있게 구현될 수 있다. 패널(362)은 터치 패널(352)과 하나 이상의 모듈로 구성될 수 있다. 일 실시예에 따르면, 패널(362)은 사용자의 터치에 대한 압력의 세기를 측정할 수 있는 압력 센서(또는 포스 센서)를 포함할 수 있다. 상기 압력 센서는 터치 패널(352)과 일체형으로 구현되거나, 또는 터치 패널(352)과는 별도의 하나 이상의 센서로 구현될 수 있다.The display 360 (eg, the display 260) may include a panel 362, a hologram device 364, a projector 366, and/or a control circuit for controlling them. Panel 362 may be implemented to be flexible, transparent, or wearable, for example. The panel 362 may include the touch panel 352 and one or more modules. According to an embodiment, the panel 362 may include a pressure sensor (or force sensor) capable of measuring the strength of a user's touch. The pressure sensor may be implemented integrally with the touch panel 352 or may be implemented as one or more sensors separate from the touch panel 352 .

홀로그램 장치(364)는 빛의 간섭을 이용하여 입체 영상을 허공에 보여줄 수 있다. 프로젝터(366)는 스크린에 빛을 투사하여 영상을 표시할 수 있다. 스크린은, 예를 들면, 전자 장치(301)의 내부 또는 외부에 위치할 수 있다. The hologram device 364 may display a 3D image in the air by using light interference. The projector 366 may display an image by projecting light onto a screen. The screen may be located inside or outside the electronic device 301, for example.

인터페이스(370)는, 예를 들면, HDMI(372), USB(374), 광 인터페이스(optical interface)(376), 또는 D-sub(D-subminiature)(378)를 포함할 수 있다. 인터페이스(370)는, 예를 들면, 도 2에 도시된 통신 인터페이스(270)에 포함될 수 있다. 추가적으로 또는 대체적으로, 인터페이스(370)는, 예를 들면, MHL(mobile high-definition link) 인터페이스, SD카드/MMC(multi-media card) 인터페이스, 또는 IrDA(infrared data association) 규격 인터페이스를 포함할 수 있다. Interface 370 may include, for example, HDMI 372, USB 374, optical interface 376, or D-sub (D-subminiature) 378. Interface 370 may be included in, for example, communication interface 270 shown in FIG. 2 . Additionally or alternatively, the interface 370 may include, for example, a mobile high-definition link (MHL) interface, an SD card/multi-media card (MMC) interface, or an infrared data association (IrDA) compliant interface. there is.

오디오 모듈(380)은, 예를 들면, 소리와 전기 신호를 쌍방향으로 변환시킬 수 있다. 오디오 모듈(380)의 적어도 일부 구성요소는, 예를 들면, 도 2에 도시된 입출력 인터페이스(245)에 포함될 수 있다. 오디오 모듈(380)은, 예를 들면, 스피커(382), 리시버(384), 이어폰(386), 또는 마이크(388) 등을 통해 입력 또는 출력되는 소리 정보를 처리할 수 있다. The audio module 380 may convert, for example, a sound and an electrical signal in both directions. At least some components of the audio module 380 may be included in, for example, the input/output interface 245 shown in FIG. 2 . The audio module 380 may process sound information input or output through, for example, the speaker 382, the receiver 384, the earphone 386, or the microphone 388.

카메라 모듈(391)은, 예를 들면, 정지 영상 및 동영상을 촬영할 수 있는 장치로서, 일 실시예에 따르면, 하나 이상의 이미지 센서(예: 전면 센서 또는 후면 센서), 렌즈, 이미지 시그널 프로세서(ISP), 또는 플래시(예: LED 또는 xenon lamp 등)를 포함할 수 있다. 또한, 카메라 모듈(391)은 전자 장치(301)의 제1 하우징에 포함된 제1 카메라 모듈과 전자 장치(301)의 제2 하우징에 포함된 제2 카메라 모듈을 포함할 수 있다. The camera module 391 is, for example, a device capable of capturing still images and moving images. According to an embodiment, the camera module 391 includes one or more image sensors (eg, a front sensor or a rear sensor), a lens, and an image signal processor (ISP). , or a flash (eg, LED or xenon lamp, etc.). Also, the camera module 391 may include a first camera module included in the first housing of the electronic device 301 and a second camera module included in the second housing of the electronic device 301 .

전력 관리 모듈(395)은, 예를 들면, 전자 장치(301)의 전력을 관리할 수 있다. 일 실시예에 따르면, 전력 관리 모듈(395)은 PMIC(power management integrated circuit), 충전 IC, 또는 배터리 또는 연료 게이지를 포함할 수 있다. PMIC는, 유선 및/또는 무선 충전 방식을 가질 수 있다. 무선 충전 방식은, 예를 들면, 자기공명 방식, 자기유도 방식 또는 전자기파 방식 등을 포함하며, 무선 충전을 위한 부가적인 회로, 예를 들면, 코일 루프, 공진 회로, 또는 정류기 등을 더 포함할 수 있다. 배터리 게이지는, 예를 들면, 배터리(396)의 잔량, 충전 중 전압, 전류, 또는 온도를 측정할 수 있다. The power management module 395 may manage power of the electronic device 301 , for example. According to one embodiment, the power management module 395 may include a power management integrated circuit (PMIC), a charger IC, or a battery or fuel gauge. A PMIC may have a wired and/or wireless charging method. The wireless charging method includes, for example, a magnetic resonance method, a magnetic induction method, or an electromagnetic wave method, and may further include an additional circuit for wireless charging, for example, a coil loop, a resonance circuit, or a rectifier. there is. The battery gauge may measure, for example, the remaining capacity of the battery 396, voltage, current, or temperature during charging.

배터리(396)는, 예를 들면, 충전식 전지 및/또는 태양 전지를 포함할 수 있다. Battery 396 may include, for example, a rechargeable battery and/or a solar cell.

인디케이터(397)는 전자 장치(301) 또는 그 일부(예: 프로세서(310))의 특정 상태, 예를 들면, 부팅 상태, 메시지 상태 또는 충전 상태 등을 표시할 수 있다. The indicator 397 may indicate a specific state of the electronic device 301 or a part thereof (eg, the processor 310), for example, a booting state, a message state, or a charging state.

모터(398)는 전기적 신호를 기계적 진동으로 변환할 수 있고, 진동, 또는 햅틱 효과 등을 발생시킬 수 있다. 전자 장치(301)는, 예를 들면, DMB(digital multimedia broadcasting), DVB(digital video broadcasting), 또는 미디어플로(mediaFlo^TM) 등의 규격에 따른 미디어 데이터를 처리할 수 있는 모바일 TV 지원 장치(예: GPU)를 포함할 수 있다. 본 문서에서 기술된 구성요소들 각각은 하나 또는 그 이상의 부품(component)으로 구성될 수 있으며, 해당 구성요소의 명칭은 전자 장치(301)의 종류에 따라서 달라질 수 있다. 다양한 실시예에서, 전자 장치(301)는 일부 구성요소가 생략되거나, 추가적인 구성요소를 더 포함하거나, 또는, 구성요소들 중 일부가 결합되어 하나의 개체로 구성되되, 결합 이전의 해당 구성요소들의 기능을 동일하게 수행할 수 있다.The motor 398 may convert electrical signals into mechanical vibrations and generate vibrations or haptic effects. The electronic device 301 is, for example, a mobile TV support device capable of processing media data according to standards such as digital multimedia broadcasting (DMB), digital video broadcasting (DVB), or mediaFlo ^TM (e.g., : GPU) may be included. Each of the components described in this document may be composed of one or more components, and the name of the corresponding component may vary depending on the type of the electronic device 301 . In various embodiments, the electronic device 301 is configured as a single entity by omitting some components, further including additional components, or combining some of the components, but the electronic device 301 is composed of the corresponding components prior to combination. It can perform the same function.

도 4는 다양한 실시예에 따른 프로그램 모듈(410)의 블록도이다. 일 실시예에 따르면, 프로그램 모듈(410)(예: 프로그램(240))은 전자 장치(예: 전자 장치(201))에 관련된 자원을 제어하는 운영 체제 및/또는 운영 체제 상에서 구동되는 다양한 어플리케이션(예: 어플리케이션 프로그램(247))을 포함할 수 있다. 운영 체제는, 예를 들면, Android^TM, iOS^TM, Windows^TM, Symbian^TM, Tizen^TM, 또는 Bada^TM를 포함할 수 있다. 4 is a block diagram of a program module 410 according to various embodiments. According to an embodiment, the program module 410 (eg, the program 240) is an operating system that controls resources related to an electronic device (eg, the electronic device 201) and/or various applications running on the operating system (eg, the electronic device 201). Example: application program 247). The operating system may include, for example, Android ^TM , iOS ^TM , Windows ^TM , Symbian ^TM , Tizen ^TM , or Bada ^TM .

도 4를 참조하면, 프로그램 모듈(410)은 커널(420)(예: 커널(241)), 미들웨어(430)(예: 미들웨어(243)), (API(460)(예: API(245)), 및/또는 어플리케이션(470)(예: 어플리케이션 프로그램(247))을 포함할 수 있다. 프로그램 모듈(410)의 적어도 일부는 전자 장치 상에 프리로드 되거나, 외부 전자 장치(예: 전자 장치(202, 104), 서버(206) 등)로부터 다운로드 가능하다.Referring to FIG. 4 , the program module 410 includes a kernel 420 (eg kernel 241), middleware 430 (eg middleware 243), (API 460 (eg API 245) ), and/or an application 470 (eg, the application program 247). At least a portion of the program module 410 is preloaded on an electronic device, or an external electronic device (eg, an electronic device ( 202, 104), server 206, etc.).

커널(420)은, 예를 들면, 시스템 리소스 매니저(421) 및/또는 디바이스 드라이버(423)를 포함할 수 있다. 시스템 리소스 매니저(421)는 시스템 리소스의 제어, 할당, 또는 회수를 수행할 수 있다. 일 실시예에 따르면, 시스템 리소스 매니저(421)는 프로세스 관리부, 메모리 관리부, 또는 파일 시스템 관리부를 포함할 수 있다. 디바이스 드라이버(423)는, 예를 들면, 디스플레이 드라이버, 카메라 드라이버, 블루투스 드라이버, 공유 메모리 드라이버, USB 드라이버, 키패드 드라이버, WiFi 드라이버, 오디오 드라이버, 또는 IPC(inter-process communication) 드라이버를 포함할 수 있다. Kernel 420 may include, for example, system resource manager 421 and/or device driver 423 . The system resource manager 421 may control, allocate, or reclaim system resources. According to one embodiment, the system resource manager 421 may include a process management unit, a memory management unit, or a file system management unit. The device driver 423 may include, for example, a display driver, a camera driver, a Bluetooth driver, a shared memory driver, a USB driver, a keypad driver, a WiFi driver, an audio driver, or an inter-process communication (IPC) driver. .

미들웨어(430)는, 예를 들면, 어플리케이션(470)이 공통적으로 필요로 하는 기능을 제공하거나, 어플리케이션(470)이 전자 장치 내부의 제한된 시스템 자원을 사용할 수 있도록 API(460)를 통해 다양한 기능들을 어플리케이션(470)으로 제공할 수 있다. 일 실시예에 따르면, 미들웨어(430)는 런타임 라이브러리(435), 어플리케이션 매니저(441), 윈도우 매니저(442), 멀티미디어 매니저(443), 리소스 매니저(444), 파워 매니저(445), 데이터베이스 매니저(446), 패키지 매니저(447), 커넥티비티 매니저(448), 노티피케이션 매니저(449), 로케이션 매니저(450), 그래픽 매니저(451), 또는 시큐리티 매니저(452) 중 적어도 하나를 포함할 수 있다.The middleware 430, for example, provides functions commonly required by the application 470 or provides various functions through the API 460 so that the application 470 can use limited system resources inside the electronic device. It can be provided to the application 470. According to one embodiment, the middleware 430 includes a runtime library 435, an application manager 441, a window manager 442, a multimedia manager 443, a resource manager 444, a power manager 445, a database manager ( 446), package manager 447, connectivity manager 448, notification manager 449, location manager 450, graphic manager 451, or security manager 452.

런타임 라이브러리(435)는, 예를 들면, 어플리케이션(470)이 실행되는 동안에 프로그래밍 언어를 통해 새로운 기능을 추가하기 위해 컴파일러가 사용하는 라이브러리 모듈을 포함할 수 있다. 런타임 라이브러리(435)는 입출력 관리, 메모리 관리, 또는 산술 함수 처리를 수행할 수 있다. 어플리케이션 매니저(441)는, 예를 들면, 어플리케이션(470)의 생명 주기를 관리할 수 있다. 윈도우 매니저(442)는 화면에서 사용되는 GUI 자원을 관리할 수 있다. 멀티미디어 매니저(443)는 미디어 파일들의 재생에 필요한 포맷을 파악하고, 해당 포맷에 맞는 코덱을 이용하여 미디어 파일의 인코딩 또는 디코딩을 수행할 수 있다. 리소스 매니저(444)는 어플리케이션(470)의 소스 코드 또는 메모리의 공간을 관리할 수 있다. 파워 매니저(445)는, 예를 들면, 배터리의 용량 또는 전원을 관리하고, 전자 장치의 동작에 필요한 전력 정보를 제공할 수 있다. 일 실시예에 따르면, 파워 매니저(445)는 바이오스(BIOS: basic input/output system)와 연동할 수 있다. 데이터베이스 매니저(446)는, 예를 들면, 어플리케이션(470)에서 사용될 데이터베이스를 생성, 검색, 또는 변경할 수 있다. 패키지 매니저(447)는 패키지 파일의 형태로 배포되는 어플리케이션의 설치 또는 갱신을 관리할 수 있다. 커넥티비티 매니저(448)는, 예를 들면, 무선 연결을 관리할 수 있다. 노티피케이션 매니저(449)는, 예를 들면, 도착 메시지, 약속, 근접성 알림 등의 이벤트를 사용자에게 제공할 수 있다. 로케이션 매니저(450)는, 예를 들면, 전자 장치의 위치 정보를 관리할 수 있다. 그래픽 매니저(451)는, 예를 들면, 사용자에게 제공될 그래픽 효과 또는 이와 관련된 사용자 인터페이스를 관리할 수 있다. 보안 매니저(452)는, 예를 들면, 시스템 보안 또는 사용자 인증을 제공할 수 있다. The runtime library 435 may include, for example, a library module used by a compiler to add new functions through a programming language while the application 470 is being executed. The runtime library 435 may perform input/output management, memory management, or arithmetic function processing. The application manager 441 may manage the life cycle of the application 470 , for example. The window manager 442 may manage GUI resources used in the screen. The multimedia manager 443 may identify a format required to reproduce media files and encode or decode the media file using a codec suitable for the format. The resource manager 444 may manage a source code of the application 470 or a memory space. The power manager 445 may manage, for example, battery capacity or power, and provide power information necessary for the operation of the electronic device. According to one embodiment, the power manager 445 may interoperate with a basic input/output system (BIOS). The database manager 446 may create, search, or change a database to be used in the application 470 , for example. The package manager 447 may manage installation or update of applications distributed in the form of package files. The connectivity manager 448 may manage wireless connections, for example. The notification manager 449 may provide a user with an event such as an arrival message, an appointment, or proximity notification. The location manager 450 may manage location information of the electronic device, for example. The graphic manager 451 may manage, for example, a graphic effect to be provided to a user or a user interface related thereto. Security manager 452 may provide system security or user authentication, for example.

일 실시예에 따르면, 미들웨어(430)는 전자 장치의 음성 또는 영상 통화 기능을 관리하기 위한 통화(telephony) 매니저 또는 전술된 구성요소들의 기능들의 조합을 형성할 수 있는 하는 미들웨어 모듈을 포함할 수 있다. 일 실시예에 따르면, 미들웨어(430)는 운영 체제의 종류 별로 특화된 모듈을 제공할 수 있다. 미들웨어(430)는 동적으로 기존의 구성요소를 일부 삭제하거나 새로운 구성요소들을 추가할 수 있다. According to one embodiment, the middleware 430 may include a telephony manager for managing voice or video call functions of an electronic device or a middleware module capable of forming a combination of functions of the above-described components. . According to one embodiment, the middleware 430 may provide modules specialized for each type of operating system. The middleware 430 may dynamically delete some existing components or add new components.

API(460)는, 예를 들면, API 프로그래밍 함수들의 집합으로, 운영 체제에 따라 다른 구성으로 제공될 수 있다. 예를 들면, 안드로이드 또는 iOS의 경우, 플랫폼 별로 하나의 API 셋을 제공할 수 있으며, 타이젠의 경우, 플랫폼 별로 두 개 이상의 API 셋을 제공할 수 있다.The API 460 is, for example, a set of API programming functions, and may be provided in different configurations depending on the operating system. For example, in the case of Android or iOS, one API set can be provided for each platform, and in the case of Tizen, two or more API sets can be provided for each platform.

어플리케이션(470)은, 예를 들면, 홈(471), 다이얼러(472), SMS/MMS(473), IM(instant message)(474), 브라우저(475), 카메라(476), 알람(477), 컨택트(478), 음성 다이얼(479), 이메일(480), 달력(481), 미디어 플레이어(482), 앨범(483), 와치(484), 헬스 케어(예: 운동량 또는 혈당 등을 측정), 또는 환경 정보(예: 기압, 습도, 또는 온도 정보) 제공 어플리케이션을 포함할 수 있다. 일 실시예에 따르면, 어플리케이션(470)은 전자 장치와 외부 전자 장치 사이의 정보 교환을 지원할 수 있는 정보 교환 어플리케이션을 포함할 수 있다. 정보 교환 어플리케이션은, 예를 들면, 외부 전자 장치에 특정 정보를 전달하기 위한 노티피케이션 릴레이 어플리케이션, 또는 외부 전자 장치를 관리하기 위한 장치 관리 어플리케이션을 포함할 수 있다. 예를 들면, 알림 전달 어플리케이션은 전자 장치의 다른 어플리케이션에서 발생된 알림 정보를 외부 전자 장치로 전달하거나, 또는 외부 전자 장치로부터 알림 정보를 수신하여 사용자에게 제공할 수 있다. 장치 관리 어플리케이션은, 예를 들면, 전자 장치와 통신하는 외부 전자 장치의 기능(예: 외부 전자 장치 자체(또는, 일부 구성 부품)의 턴-온/턴-오프 또는 디스플레이의 밝기(또는, 해상도) 조절), 또는 외부 전자 장치에서 동작하는 어플리케이션을 설치, 삭제, 또는 갱신할 수 있다. 일 실시예에 따르면, 어플리케이션(470)은 외부 전자 장치의 속성에 따라 지정된 어플리케이션(예: 모바일 의료 기기의 건강 관리 어플리케이션)을 포함할 수 있다. 일 실시예에 따르면, 어플리케이션(470)은 외부 전자 장치로부터 수신된 어플리케이션을 포함할 수 있다. 프로그램 모듈(410)의 적어도 일부는 소프트웨어, 펌웨어, 하드웨어(예: 프로세서(210)), 또는 이들 중 적어도 둘 이상의 조합으로 구현(예: 실행)될 수 있으며, 하나 이상의 기능을 수행하기 위한 모듈, 프로그램, 루틴, 명령어 세트 또는 프로세스를 포함할 수 있다.The application 470 includes, for example, a home 471, a dialer 472, an SMS/MMS 473, an instant message (IM) 474, a browser 475, a camera 476, and an alarm 477. , Contacts (478), Voice Dial (479), Email (480), Calendar (481), Media Player (482), Album (483), Watch (484), Health Care (e.g., measuring exercise or blood sugar) , or environmental information (eg, air pressure, humidity, or temperature information) providing applications. According to an embodiment, the application 470 may include an information exchange application capable of supporting information exchange between an electronic device and an external electronic device. The information exchange application may include, for example, a notification relay application for delivering specific information to an external electronic device or a device management application for managing an external electronic device. For example, a notification delivery application may transfer notification information generated by another application of an electronic device to an external electronic device or may receive notification information from an external electronic device and provide the notification information to a user. The device management application is, for example, a function of an external electronic device communicating with the electronic device (eg, turn-on/turn-off of the external electronic device itself (or some component parts) or display brightness (or resolution)). adjustment), or an application operating in an external electronic device may be installed, deleted, or updated. According to an embodiment, the application 470 may include an application designated according to the properties of an external electronic device (eg, a health management application of a mobile medical device). According to an embodiment, the application 470 may include an application received from an external electronic device. At least a portion of the program module 410 may be implemented (eg, executed) in software, firmware, hardware (eg, the processor 210), or a combination of at least two of them, and a module for performing one or more functions; It can include a program, routine, set of instructions, or process.

도 5는 본 발명의 다양한 실시 예에 따른 외부 장치에서 입력을 수신하는 일례를 도시하고 있다. 일 실시예에 따르면, 외부 장치는 도 1a에 도시된 외부 장치(110)의 전체 또는 일부를 포함할 수 있다. 5 illustrates an example of receiving an input from an external device according to various embodiments of the present disclosure. According to an embodiment, the external device may include all or part of the external device 110 shown in FIG. 1A.

도 5를 참조하면, 외부 장치(110)는 외부 장치(110)를 제어하기 위한 입력 정보를 수신할 수 있다. 한 실시 예에 따르면, 외부 장치(110)는 외부 장치(110)의 구성 요소(예: 마이크, 시선추적모듈, 가속도 센서, 자이로 센서, 가상입력모듈 등)를 통해 입력 정보를 수신할 수 있다. 예를 들어, 외부 장치(110)는 마이크를 통해 음성 정보(511)를 수신할 수 있다. 외부 장치(110)는 음성 정보(511)를 입력 정보로 이용할 수 있다. 다른 예를 들어, 외부 장치(110)는 시선추적모듈을 이용하여 사용자의 눈의 움직임(513)을 검출할 수 있다. 외부 장치(110)는 사용자의 눈의 움직임(513)을 입력 정보로 이용할 수 있다. 또 다른 예를 들어, 외부 장치(110)는 가속도 센서, 자이로 센서, 또는 지자기 센서를 이용하여 외부 장치(110)를 착용한 사용자의 머리 움직임(515)을 검출할 수 있다. 외부 장치(110)는 사용자의 머리 움직임(515)을 입력 정보로 이용할 수 있다. 또 다른 예를 들어, 외부 장치(110)는 카메라 모듈 또는 제스처 센서를 이용하여 사용자의 손 또는 손가락의 움직임(517)을 검출할 수 있다. 외부 장치(110)는 사용자의 손 또는 손가락의 움직임(517)을 입력 정보로 이용할 수 있다.Referring to FIG. 5 , the external device 110 may receive input information for controlling the external device 110 . According to an embodiment, the external device 110 may receive input information through components (eg, a microphone, an eye tracking module, an acceleration sensor, a gyro sensor, a virtual input module, etc.) of the external device 110 . For example, the external device 110 may receive voice information 511 through a microphone. The external device 110 may use the voice information 511 as input information. For another example, the external device 110 may detect the movement 513 of the user's eyes using the gaze tracking module. The external device 110 may use the user's eye movement 513 as input information. As another example, the external device 110 may detect a head movement 515 of a user wearing the external device 110 using an acceleration sensor, a gyro sensor, or a geomagnetic sensor. The external device 110 may use the user's head movement 515 as input information. As another example, the external device 110 may detect the movement 517 of the user's hand or finger using a camera module or a gesture sensor. The external device 110 may use the movement 517 of the user's hand or finger as input information.

한 실시 예에 따르면, 외부 장치(110)는 유선 또는 무선으로 연결된 외부 전자 장치로부터 입력 정보를 수신할 수 있다. 예를 들어, 외부 장치(110)는 카메라(521), 조이스틱(523), 스마트 시계(또는 반지)(525), 또는 터치 패드(529) 등과 유선 또는 무선으로 연결될 수 있다. 외부 장치(110)는 유선 또는 무선으로 연결된 카메라(521), 조이스틱(523), 스마트 시계(또는 반지)(525), 또는 터치 패드(529)로부터 사용자의 조작 또는 움직임에 따른 입력 정보를 수신할 수 있다.According to one embodiment, the external device 110 may receive input information from an external electronic device connected by wire or wirelessly. For example, the external device 110 may be wired or wirelessly connected to a camera 521, a joystick 523, a smart watch (or ring) 525, or a touch pad 529. The external device 110 may receive input information according to a user's manipulation or movement from a camera 521, a joystick 523, a smart watch (or ring) 525, or a touch pad 529 connected by wire or wirelessly. can

한 실시 예에 따르면, 외부 장치(110)는 초음파 또는 자기장을 이용하여 외부 장치(110)와 다른 전자 장치 사이의 상대 좌표(예: 거리, 위치 정보 관계 등)를 입력 정보로 이용할 수 있다. 예를 들어, 외부 장치(110)는 초음파를 출력한 후, 다른 전자 장치에 의해 반사되는 초음파를 마이크를 이용하여 수신할 수 있다. 외부 장치(110)는 수신된 초음파에 기반하여 외부 장치(110)와 다른 전자 장치 사이의 상대 좌표를 계산할 수 있다. 외부 장치(110)는 상대 좌표를 입력 정보로 이용할 수 있다.According to an embodiment, the external device 110 may use relative coordinates (eg, distance, location information relationship, etc.) between the external device 110 and another electronic device as input information using an ultrasonic wave or a magnetic field. For example, the external device 110 may output ultrasound and then receive ultrasound reflected by another electronic device using a microphone. The external device 110 may calculate relative coordinates between the external device 110 and another electronic device based on the received ultrasound waves. The external device 110 may use relative coordinates as input information.

도 6은 본 발명의 다양한 실시 예에 따른 외부 장치(601)의 블록도를 도시하고 있다. 이하 설명에서, 외부 장치(601)는 도 1a의 외부 장치(110)의 전체 또는 일부를 포함할 수 있다.6 illustrates a block diagram of an external device 601 according to various embodiments of the present disclosure. In the following description, the external device 601 may include all or part of the external device 110 of FIG. 1A.

도 6을 참조하면, 외부 장치(601)는 프로세서(610), 통신 모듈(620), 입력 모듈(630), 전원관리 모듈(640), 배터리(650), 센서 모듈(660), 시선추적모듈(eye tracker)(670), 모터(vibrator)(680), 초점조절모듈(adjustable optics)(690)(또는 렌즈 조립체)를 포함할 수 있다. 어떤 실시 예에서는, 외부 장치(601)는, 구성요소들 중 적어도 하나를 생략하거나 다른 구성요소를 추가적으로 구비할 수 있다. 다른 실시 예에서는, 구성요소들 중 적어도 하나는 외부 장치(601)의 가변 프레임과 결합된 디스플레이 장치에 포함될 수 있다.Referring to FIG. 6 , the external device 601 includes a processor 610, a communication module 620, an input module 630, a power management module 640, a battery 650, a sensor module 660, and an eye tracking module. (eye tracker) 670, a motor (vibrator) 680, a focus adjustment module (adjustable optics) 690 (or a lens assembly) may be included. In some embodiments, the external device 601 may omit at least one of the components or may additionally include other components. In another embodiment, at least one of the components may be included in the display device combined with the variable frame of the external device 601 .

프로세서(610)는 운영체제(OS) 또는 임베디드 소프트웨어 프로그램을 구동하여 프로세서에 연결된 다수 개의 하드웨어 구성요소들을 제어할 수 있다. 프로세서(610)는 다수 개의 하위 프로세서로 구성될 수 있으며, 다수 개의 하위 프로세서 중 적어도 일부만 활성화시킬 수 있다.The processor 610 may control a plurality of hardware components connected to the processor by driving an operating system (OS) or an embedded software program. The processor 610 may include a plurality of sub-processors, and may activate at least some of the sub-processors.

한 실시 예에 따르면, 프로세서(610)는 외부 장치(601)와 통신적으로 연결된 전자 장치(100)로부터 영상을 수신하여 출력할 수 있다. 예를 들어, 프로세서(610)는 전자 장치(100)로부터 360도 파노라마 영상 또는 스테레오스코픽 영상을 수신하여 출력할 수 있다. According to one embodiment, the processor 610 may receive and output an image from the electronic device 100 communicatively connected to the external device 601 . For example, the processor 610 may receive and output a 360 degree panoramic image or a stereoscopic image from the electronic device 100 .

전자 장치(100)로부터 360도 파노라마 영상을 수신하는 경우, 프로세서(610)는 수신한 영상 가운데 사용자의 시선에 대응하는 영상의 일부분을 결정할 수 있다. 예를 들어, 프로세서(610)는 외부 장치(601)의 움직임과 외부 장치(601)에 설정된 사용자의 시야각(Field of View)에 기반하여 현재 사용자의 시선에 대응하는 출력 범위를 결정할 수 있다. 또한, 프로세서(610)는 사용자의 시선에 대응하는 영상을 화면을 통해 출력할 수 있다.When receiving a 360-degree panoramic image from the electronic device 100, the processor 610 may determine a portion of the image corresponding to the user's line of sight among the received images. For example, the processor 610 may determine an output range corresponding to the current user's gaze based on the movement of the external device 601 and the user's field of view set in the external device 601 . Also, the processor 610 may output an image corresponding to the user's gaze through the screen.

전자 장치(100)로부터 스테레오스코픽 영상을 수신하는 경우, 프로세서(610)는 수신된 스테레오스코픽 영상에 대한 입체감 조절이 필요한지 여부를 판단할 수 있다. 예를 들어, 프로세서(610)는 전자 장치(100)의 ICD(Inter-Camera Distnace) 정보와 외부 장치의 IPD(Inter-Pupillary Distance) 정보를 비교할 수 있다. 또한, 프로세서(610)는 전자 장치(100)의 ICD 정보와 외부 장치(601)의 IPD 정보가 일치하지 않은 경우, 수신된 영상에 대한 입체감 조절이 필요하다고 판단할 수 있다. 수신된 영상에 대한 입체감 조절이 필요하다고 판단된 경우, 프로세서(610)는 현재 수신된 영상이 시각적 피로감을 유발시킬 수 있다는 가이드 정보를 출력할 수 있다. 또한, 수신된 영상에 대한 입체감 조절이 필요하다고 판단된 경우, 프로세서(610)는 수신된 영상을 사용자의 실제 양안에 대응하는 영상으로 보간하여 출력할 수도 있다.When a stereoscopic image is received from the electronic device 100, the processor 610 may determine whether a 3D effect of the received stereoscopic image needs to be adjusted. For example, the processor 610 may compare Inter-Camera Distance (ICD) information of the electronic device 100 with Inter-Pupillary Distance (IPD) information of the external device. Also, when the ICD information of the electronic device 100 and the IPD information of the external device 601 do not match, the processor 610 may determine that it is necessary to adjust the 3D effect of the received image. When it is determined that the three-dimensional effect of the received image needs to be adjusted, the processor 610 may output guide information indicating that the currently received image may cause visual fatigue. In addition, when it is determined that adjustment of the stereoscopic effect of the received image is necessary, the processor 610 may interpolate the received image into an image corresponding to both eyes of the user and output the interpolated image.

한 실시 예에 따르면, 프로세서(610)는 사용자에게 적합한 입체감을 제공하기 위하여, 전자 장치(100)로 사용자의 양안에 대응하는 영상을 요청할 수 있다. 예를 들어, 프로세서(610)는 외부 장치(601)에 설정된 IPD 정보를 전자 장치(100)로 제공하여 전자 장치(100)로부터 IPD에 대응하는 스테레오스코픽 영상을 수신할 수도 있다.According to an embodiment, the processor 610 may request images corresponding to both eyes of the user from the electronic device 100 to provide a suitable 3D effect to the user. For example, the processor 610 may provide IPD information set in the external device 601 to the electronic device 100 to receive a stereoscopic image corresponding to the IPD from the electronic device 100 .

통신 모듈(620)은 유선 및/또는 무선 통신을 이용하여 외부 장치(601)와 다른 전자 장치(예: 휴대용 단말기)를 전기적으로 연결하여 데이터를 송신 또는 수신할 수 있다. 한 실시 예에 따르면, 통신 모듈(620)은 USB 모듈(621), WiFi 모듈(622), BT 모듈(623), NFC 모듈(624), GPS 모듈(625)을 포함할 수 있다. 한 실시 예에 따르면, WiFi 모듈(622), BT 모듈(623), NFC 모듈(624), 또는 GPS 모듈(625) 중 적어도 일부는 하나의 IC(integrated chip) 또는 IC 패키지 내에 포함될 수 있다.The communication module 620 may transmit or receive data by electrically connecting the external device 601 and another electronic device (eg, a portable terminal) using wired and/or wireless communication. According to one embodiment, the communication module 620 may include a USB module 621, a WiFi module 622, a BT module 623, an NFC module 624, and a GPS module 625. According to one embodiment, at least some of the WiFi module 622, the BT module 623, the NFC module 624, or the GPS module 625 may be included in one integrated chip (IC) or IC package.

입력 모듈(630)은 터치 패드(631), 또는 버튼(632) 중 적어도 하나를 포함할 수 있다. 터치 패드(631)는, 예를 들어, 정전식, 감압식, 적외선 방식, 또는 초음파 방식 중 적어도 하나의 방식으로 터치 입력을 검출할 수 있다. 터치 패드(631)는 제어 회로를 더 포함할 수 있다. 터치 패드(631)는 택타일 레이어(tactile layer)를 더 포함할 수 있다. 이 경우, 터치 패드(631)는 사용자에게 촉각 반응을 제공할 수 있다. 버튼(632)은, 예를 들어, 물리적인 버튼, 광학식 키, 또는 키패드를 포함할 수 있다.The input module 630 may include at least one of a touch pad 631 and a button 632 . The touch pad 631 may detect a touch input in at least one of, for example, a capacitive type, a pressure-sensitive type, an infrared type, or an ultrasonic type. The touch pad 631 may further include a control circuit. The touch pad 631 may further include a tactile layer. In this case, the touch pad 631 may provide a tactile response to the user. Button 632 may include, for example, a physical button, an optical key, or a keypad.

전력관리 모듈(640)은, 예를 들어, 외부 장치(601)의 전력을 관리할 수 있다. 한 실시 예에 다르면, 전력관리 모듈(640)은 PMIC(power management integrated circuit), 충전 IC, 또는 연료 게이지를 포함할 수 있다. 배터리(650)는, 예를 들어, 충전식 전지 및/또는 태양 전지를 포함할 수 있다. 한 실시 예에 따르면, 배터리는 충전관리 모듈(640)에 포함될 수 있다.The power management module 640 may manage power of the external device 601 , for example. According to one embodiment, the power management module 640 may include a power management integrated circuit (PMIC), a charging IC, or a fuel gauge. The battery 650 may include, for example, a rechargeable battery and/or a solar cell. According to one embodiment, the battery may be included in the charge management module 640.

센서 모듈(660)은 물리량을 계측하거나, 외부 장치(601)의 작동 상태를 감지하여, 계측 또는 감지된 정보를 전기 신호로 변환할 수 있다. 센서 모듈(660)은 예를 들어, 가속도 센서(661), 자이로 센서(662), 지자기 센서(663), 마그네틱 센서(664), 근조도 센서(665), 제스처 센서(666), 그립 센서(667), 생체 센서(668), 또는 회전 센서(669) 중 적어도 하나를 포함할 수 있다. 센서 모듈(660)은, 예를 들어, 가속도 센서(661), 자이로 센서(662), 또는 지자기 센서(663) 중 적어도 하나를 이용하여 외부 장치(601)를 착용한 사용자의 머리 움직임을 검출할 수 있다. 센서 모듈(660)은, 예를 들어, 그립 센서(667)(또는 근접 센서)를 이용하여 외부 장치(601)의 착용 여부를 검출할 수 있다. 센서 모듈(660)은, 예를 들어, 제스처 센서(666)를 이용하여 사용자의 손 또는 손가락의 움직임을 검출할 수 있다. 추가적으로 또는 대체적으로, 센서 모듈(660)은, 예를 들어, 생체 센서(668)(예: 후각 센서(e-nose sensor), EMG 센서(electromyography sensor), EEG 센서(electroencephalogram sensor), ECG 센서(electrocardiogram sensor), 홍채 센서 등)를 이용하여 사용자의 생체 정보를 인식할 수 있다. 센서 모듈(660)은 그 안에 속한 적어도 하나 이상의 센서들을 제어하기 위한 제어 회로를 더 포함할 수 있다.The sensor module 660 may measure a physical quantity or detect an operating state of the external device 601 and convert the measured or sensed information into an electrical signal. The sensor module 660 includes, for example, an acceleration sensor 661, a gyro sensor 662, a geomagnetic sensor 663, a magnetic sensor 664, a roughness sensor 665, a gesture sensor 666, a grip sensor ( 667), a bio sensor 668, or a rotation sensor 669. The sensor module 660 may detect head movement of a user wearing the external device 601 using at least one of, for example, an acceleration sensor 661, a gyro sensor 662, or a geomagnetic sensor 663. can The sensor module 660 may detect whether the external device 601 is worn by using, for example, a grip sensor 667 (or a proximity sensor). The sensor module 660 may detect movement of a user's hand or finger using, for example, the gesture sensor 666 . Additionally or alternatively, the sensor module 660 may include, for example, a biosensor 668 (eg, an e-nose sensor, an electromyography sensor, an electroencephalogram sensor, an ECG sensor ( Electrocardiogram sensor), iris sensor, etc.) can be used to recognize the user's biometric information. The sensor module 660 may further include a control circuit for controlling one or more sensors included therein.

시선추적모듈(670)(eye tracker)은, 예를 들어, EOG(electro-oculography), coil systems, dual purkinje systems, bright pupil systems, dark pupil systems 중 적어도 하나의 방식을 이용하여 사용자의 시선을 추적할 수 있다. 시선추적모듈(670)은 시선추적을 위한 마이크로 카메라를 더 포함할 수 있다.The gaze tracking module 670 (eye tracker) tracks the user's gaze using, for example, at least one of EOG (electro-oculography), coil systems, dual purkinje systems, bright pupil systems, and dark pupil systems can do. The gaze tracking module 670 may further include a micro camera for gaze tracking.

모터(680)는, 예를 들어, 전기적 신호를 기계적 진동으로 변환할 수 있다. 예를 들어, 모터(680)는 진동 또는 햅틱(haptic) 효과를 발생시킬 수 있다. The motor 680 may convert electrical signals into mechanical vibrations, for example. For example, the motor 680 may generate a vibration or haptic effect.

초점조절모듈(690)은 사용자가 자신의 시력에 적합한 영상을 감상할 수 있도록 사용자의 양안 사이의 거리(IPD(inter-pupil distance))를 측정하여 렌즈의 거리 및 디스플레이(미도시)의 위치를 조정할 수 있다.The focus control module 690 measures the distance between both eyes of the user (inter-pupil distance (IPD)) so that the user can enjoy an image suitable for his or her eyesight, and determines the distance of the lens and the position of the display (not shown). can be adjusted

도 7은 본 발명의 다양한 실시예에 따른 전자 장치(100)의 영상 촬영 동작을 도시한 흐름도이다. 그리고, 도 8은 본 발명의 다양한 실시예에 따른 전자 장치(100)의 화각을 설명하기 위한 예시도이다. 일 실시예에 따르면, 전자 장치(100)는 360도 파노라마 영상 및/또는 스테레오스코픽 영상을 생성할 수 있다. 또한, 전자 장치(100)는 360도 파노라마 영상 및/또는 스테레오스코픽 영상을 생성하기 위하여 서로 다른 동작 모드로 영상을 획득할 수 있다. 7 is a flowchart illustrating an image capturing operation of the electronic device 100 according to various embodiments of the present disclosure. And, FIG. 8 is an exemplary view for explaining the angle of view of the electronic device 100 according to various embodiments of the present disclosure. According to an embodiment, the electronic device 100 may generate a 360-degree panoramic image and/or a stereoscopic image. Also, the electronic device 100 may acquire images in different operation modes to generate a 360-degree panoramic image and/or a stereoscopic image.

도 7을 참조하면, 동작 701에서, 전자 장치(100)는 영상 촬영을 위하여 제1 모드로 동작할 수 있다. 예를 들어, 전자 장치(100)는 360도 파노라마 영상 생성에 필요한 영상을 획득하기 위하여 제1 모드로 동작할 수 있다.Referring to FIG. 7 , in operation 701, the electronic device 100 may operate in a first mode for capturing an image. For example, the electronic device 100 may operate in the first mode to obtain an image necessary for generating a 360-degree panoramic image.

제1 모드로 동작하는 것에 대응하여, 동작 703에서, 전자 장치(100)는 제1 화각에 기반하여 영상을 획득할 수 있다. 예를 들어, 전자 장치(100)는 360도 파노라마 영상을 생성하기 위하여 제1 카메라 모듈(104-1) 및 제2 카메라 모듈(106-2)을 통해 적어도 일부가 중첩되는 영상을 획득할 수 있다. 예컨대, 360도 파노라마 영상을 생성하기 위하여, 전자 장치(100)는, 도 8a에 도시된 바와 같이, 제1 화각(802)을 가지는 제1 카메라 모듈(104-1)을 이용하여 제1 방향(예: 전자 장치(100)의 전방)에 대한 영상을 획득하고, 제1 화각(804)을 가지는 제2 카메라 모듈(106-2)을 이용하여 제2 방향(예: 전자 장치(100)의 후방)에 대한 영상을 획득(800)할 수 있다. 예를 들어, 제1 화각은 180도 이상(예: 185도)일 수 있다. 또한, 전자 장치(100)는 미리 저장하고 있는 화각 정보 가운데 제1 모드에 대응하는 제1 화각 정보를 획득할 수 있다. Corresponding to operating in the first mode, in operation 703, the electronic device 100 may obtain an image based on the first view angle. For example, the electronic device 100 may obtain images overlapping at least in part through the first camera module 104-1 and the second camera module 106-2 in order to generate a 360-degree panoramic image. . For example, in order to generate a 360-degree panoramic image, the electronic device 100 uses the first camera module 104-1 having a first angle of view 802 as shown in FIG. Example: An image of the front of the electronic device 100) is obtained, and an image of the second direction (eg, the rear of the electronic device 100) is obtained using the second camera module 106-2 having the first angle of view 804. ) may be acquired (800). For example, the first angle of view may be 180 degrees or more (eg, 185 degrees). Also, the electronic device 100 may acquire first view angle information corresponding to the first mode from among previously stored view angle information.

동작 705에서, 전자 장치(100)는 적어도 하나의 카메라에 대하여 촬영 방향이 변경되는지 여부를 판단할 수 있다. 예를 들어, 촬영 방향은 전자 장치(100)의 전면 및 후면을 포함할 수 있다. 예컨대, 전자 장치(100)는 힌지 모듈(102)을 축으로 하여 회전이 가능한 제1 카메라 모듈(104-1) 및/또는 제2 카메라 모듈(106-2)에 대한 회전 상태에 기반하여 촬영 방향의 변경 여부를 판단할 수 있다. 전자 장치(100)는, 제1 모드로 동작하는 중, 제1 방향의 영상을 획득하는 제1 카메라 모듈(104-1)이 제2 방향을 촬영하는 경우, 촬영 방향이 변경되었다고 판단할 수 있다. 또한, 전자 장치(100)는, 제1 모드로 동작하는 중, 제2 방향의 영상을 획득하는 제2 카메라 모듈(106-2)이 제1 방향을 촬영하는 경우, 촬영 방향이 변경되었다고 판단할 수 있다. In operation 705, the electronic device 100 may determine whether a photographing direction is changed with respect to at least one camera. For example, the photographing direction may include the front and rear sides of the electronic device 100 . For example, the electronic device 100 determines the photographing direction based on the rotation state of the first camera module 104-1 and/or the second camera module 106-2, which can rotate about the hinge module 102 as an axis. change can be judged. The electronic device 100 may determine that the photographing direction has changed when the first camera module 104-1 that acquires images in the first direction captures images in the second direction while operating in the first mode. . In addition, the electronic device 100 may determine that the photographing direction has changed when the second camera module 106 - 2 that acquires an image of the second direction photographs the first direction while operating in the first mode. can

촬영 방향이 변경되지 않음을 판단한 경우, 전자 장치(100)는 제1 화각에 기반하여 영상을 획득하는 동작을 재수행할 수 있다. 예를 들어, 전자 장치(100)는 동작 701 또는 동작 703과 연관된 동작을 수행할 수 있다.If it is determined that the photographing direction is not changed, the electronic device 100 may re-perform an operation of acquiring an image based on the first angle of view. For example, the electronic device 100 may perform an operation related to operation 701 or operation 703.

촬영 방향이 변경됨을 판단한 경우, 전자 장치(100)는 촬영 모드를 제1 모드에서 제2 모드로 변경할 수 있다. 예를 들어, 전자 장치(100)는 스테레오스코픽 영상 생성에 필요한 영상을 획득하기 위하여 촬영 모드를 제2 모드로 동작할 수 있다.When it is determined that the photographing direction is changed, the electronic device 100 may change the photographing mode from the first mode to the second mode. For example, the electronic device 100 may operate the photographing mode as the second mode in order to obtain an image necessary for generating a stereoscopic image.

제2 모드로 동작하는 것에 대응하여, 동작 707에서, 전자 장치(100)는 제2 화각에 기반하여 영상을 획득할 수 있다. 예를 들어, 전자 장치(100)는 스테레오스코픽 영상을 생성하기 위하여 제1 카메라 모듈(104-1)과 제2 카메라 모듈(106-2)을 통해 사용자의 양안에 해당하는 영상을 획득할 수 있다. 예컨대, 전자 장치(100)는, 도 8b에 도시된 바와 같이, 제2 화각(812)을 가지는 제1 카메라 모듈(104-1)을 통해서 제1 방향에 대한 좌안 영상을 획득하고, 제2 화각(814)을 가지는 제2 카메라 모듈(106-2)을 통해서 제1 방향에 대한 우안 영상을 획득할 수 있다(810). 예를 들어, 제2 화각은 제1 화각보다 작을 수 있다. 또한, 전자 장치(100)는 미리 저장하고 있는 화각 정보 가운데 제2 모드에 대응하는 제2 화각 정보를 획득할 수 있다. Corresponding to operating in the second mode, in operation 707, the electronic device 100 may obtain an image based on the second view angle. For example, the electronic device 100 may acquire images corresponding to both eyes of the user through the first camera module 104-1 and the second camera module 106-2 to generate a stereoscopic image. . For example, as shown in FIG. 8B , the electronic device 100 acquires a left-eye image in the first direction through the first camera module 104-1 having a second angle of view 812, and the second angle of view 812. A right eye image for the first direction may be acquired through the second camera module 106 - 2 having (814) (810). For example, the second angle of view may be smaller than the first angle of view. In addition, the electronic device 100 may acquire second view angle information corresponding to the second mode from among previously stored view angle information.

도 9는 본 발명의 다양한 실시예에 따라 제1 모드로 동작하는 전자 장치(100)의 절차를 도시한 흐름도이다. 다양한 실시예에 따르면, 제1 모드로 동작하는 전자 장치(100)의 절차는 도 7에 도시된 동작 703에 대한 상세 동작일 수 있다.9 is a flowchart illustrating a procedure of the electronic device 100 operating in a first mode according to various embodiments of the present disclosure. According to various embodiments, the procedure of the electronic device 100 operating in the first mode may be a detailed operation of operation 703 shown in FIG. 7 .

도 9를 참조하면, 전자 장치(100)는 파노라마 영상을 생성하기 위한 제1 모드로 동작할 수 있다.Referring to FIG. 9 , the electronic device 100 may operate in a first mode for generating a panoramic image.

동작 901에서, 전자 장치(100)는 제1 모드에 대응하는 화각을 설정할 수 있다. 예를 들어, 전자 장치(100)는 제1 카메라 모듈(104-1) 및 제2 카메라 모듈(106-2)의 렌즈를 이동시켜 제1 모드에 대응하는 화각을 설정할 수 있다. 예컨대, 전자 장치(100)는 미리 저장하고 있는 화각 정보 가운데 제1 모드에 대응하는 제1 화각 정보를 획득할 수 있다. 또한, 전자 장치(100)는 제1 화각 정보에 기반하여 제1 카메라 모듈(104-1) 및 제2 카메라 모듈(106-2)의 렌즈를 이동시킬 수 있다.In operation 901, the electronic device 100 may set a view angle corresponding to the first mode. For example, the electronic device 100 may set the angle of view corresponding to the first mode by moving the lenses of the first camera module 104-1 and the second camera module 106-2. For example, the electronic device 100 may obtain first view angle information corresponding to the first mode from among previously stored view angle information. Also, the electronic device 100 may move the lenses of the first camera module 104-1 and the second camera module 106-2 based on the first view angle information.

동작 903에서, 전자 장치(100)는 제1 카메라 모듈(104-1)을 이용하여 제1 방향에 대한 영상을 획득할 수 있다. 예를 들어, 제1 카메라 모듈(104-1)은 전자 장치(100)의 전방을 향할 수 있다. 예컨대, 전자 장치(100)는 전자 장치(100)의 전방에 대한 제1 화각을 가지는 영상을 획득할 수 있다. In operation 903, the electronic device 100 may obtain an image of the first direction using the first camera module 104-1. For example, the first camera module 104 - 1 may face the front of the electronic device 100 . For example, the electronic device 100 may obtain an image having a first angle of view of the front of the electronic device 100 .

동작 905에서, 전자 장치(100)는 제2 카메라 모듈(106-2)을 이용하여 제2 방향에 대한 영상을 획득할 수 있다. 예를 들어, 제2 카메라 모듈(106-2)은 전자 장치의 후방을 향할 수 있다. 예컨대, 전자 장치(100)는 전자 장치(100)의 후방에 대한 제1 화각을 가지는 영상을 획득할 수 있다.In operation 905, the electronic device 100 may obtain an image of the second direction using the second camera module 106-2. For example, the second camera module 106-2 may face the rear of the electronic device. For example, the electronic device 100 may obtain an image having a first angle of view of the rear of the electronic device 100 .

동작 907에서, 전자 장치(100)는 획득된 영상을 이용하여 파노라마 영상을 생성할 수 있다. 예를 들어, 전자 장치(100)는 제1 카메라 모듈(104-1) 및 제2 카메라 모듈(106-2)을 통해 획득된 영상에 대한 중접 부분의 적어도 일부를 서로 연결(또는 결합)함으로써 360도 파노라마 영상을 생성할 수 있다. 예컨대, 제1 카메라 모듈(104-1) 및 제2 카메라 모듈(106-2)을 통해 180도 이상의 화각을 가지는 영상을 획득한 경우, 전자 장치(100)는 제1 카메라 모듈(104-1)을 통해 획득된 영상의 좌측을 제2 카메라 모듈(106-2)을 통해 획득된 영상의 우측 부분과 결합하고 제1 카메라 모듈(104-1)을 통해 획득된 영상의 우측을 제2 카메라 모듈(106-2)을 통해 획득된 영상의 좌측 부분과 결합하여 360도 파노라마 영상을 생성할 수 있다.In operation 907, the electronic device 100 may generate a panoramic image using the obtained image. For example, the electronic device 100 connects (or combines) at least a part of the overlapping portion of the image obtained through the first camera module 104-1 and the second camera module 106-2 to each other to obtain a 360 image. A panoramic image can also be created. For example, when an image having an angle of view of 180 degrees or more is obtained through the first camera module 104-1 and the second camera module 106-2, the electronic device 100 converts the first camera module 104-1 to The left side of the image acquired through is combined with the right part of the image acquired through the second camera module 106-2, and the right side of the image acquired through the first camera module 104-1 is combined with the second camera module ( 106-2) may generate a 360-degree panoramic image by combining with the left part of the acquired image.

동작 909과 같이, 전자 장치(100)는 생성된 360도 파노라마 영상을 외부 장치(110)로 전송할 수 있다. 또는 생성된 360도 파노라마 영상의 일부를 외부 장치(110)로 전송할 수 있다. 예를 들어 외부 장치(110)의 요청에 따라 사용자의 시선에 대응하는 360도 영상의 일부분을 외부 장치(110)로 전송할 수 있다. As in operation 909, the electronic device 100 may transmit the generated 360-degree panoramic image to the external device 110. Alternatively, a part of the generated 360 degree panoramic image may be transmitted to the external device 110 . For example, at the request of the external device 110, a portion of a 360 degree image corresponding to the user's line of sight may be transmitted to the external device 110.

다양한 실시예에 따르면, 전자 장치(100)는 도 9와 관련된 동작 중 적어도 하나의 동작을 생략할 수도 있다. 예를 들어, 파노라마 영상을 생성하는 동작이 외부 장치(110)에 의해 수행될 수 있다. 이러한 경우, 전자 장치(101)는 동작 907과 관련된 동작을 생략할 수 있다.According to various embodiments, the electronic device 100 may omit at least one operation among operations related to FIG. 9 . For example, an operation of generating a panoramic image may be performed by the external device 110 . In this case, the electronic device 101 may omit the operation related to operation 907.

도 10은 본 발명의 다양한 실시예에 따라 제2 모드로 동작하는 전자 장치(100)의 절차를 도시한 흐름도이다. 다양한 실시예에 따르면, 제2 모드로 동작하는 전자 장치의 절차는 도 7에 도시된 동작 707에 대한 상세 동작일 수 있다.10 is a flowchart illustrating a procedure of the electronic device 100 operating in the second mode according to various embodiments of the present disclosure. According to various embodiments, a procedure of the electronic device operating in the second mode may be a detailed operation of operation 707 shown in FIG. 7 .

도 10을 참조하면, 전자 장치(100)는 스테레오스코픽 영상을 생성하기 위한 제2 모드로 동작할 수 있다.Referring to FIG. 10 , the electronic device 100 may operate in a second mode for generating a stereoscopic image.

동작 1001에서, 전자 장치(100)는 제2 모드에 대응하는 화각 및 카메라 모듈 위치를 설정할 수 있다. 카메라 모듈의 위치는 제1 카메라 모듈(104-1)과 제2 카메라 모듈(106-2) 사이의 거리와 연관될 수 있다. 예를 들어, 전자 장치(100)는 미리 저장하고 있는 화각 정보에 기반하여 제2 모드에 대응하는 화각을 설정할 수 있다. 또한, 전자 장치(100)는 미리 저장하고 있는 카메라 모듈의 위치 정보에 기반하여 제1 카메라 모듈(104-1)과 제2 카메라 모듈(106-2) 사이의 간격을 설정할 수 있다. 다른 예로, 전자 장치(100)는 통신적으로 연결된 외부 장치(110)로부터 제2 모드에 대응하는 화각 정보 및 카메라 모듈의 위치 정보를 획득할 수도 있다.In operation 1001, the electronic device 100 may set a view angle and a camera module position corresponding to the second mode. The position of the camera module may be related to the distance between the first camera module 104-1 and the second camera module 106-2. For example, the electronic device 100 may set a view angle corresponding to the second mode based on previously stored view angle information. Also, the electronic device 100 may set a distance between the first camera module 104-1 and the second camera module 106-2 based on pre-stored location information of the camera module. As another example, the electronic device 100 may obtain view angle information corresponding to the second mode and location information of the camera module from the external device 110 communicatively connected thereto.

동작 1003에서, 전자 장치(100)는 제1 카메라 모듈(104-1)을 이용하여 제1 방향에 대한 영상을 획득할 수 있다. 예를 들어, 제1 카메라 모듈(104-1)은 전자 장치(100)의 전방을 향할 수 있다. 예컨대, 전자 장치(100)는 전자 장치(100)의 전방에 대한 제2 화각을 가지는 영상을 획득할 수 있다. 예를 들어, 제1 카메라 모듈(104-1)을 통해 획득되는 영상은 사용자의 좌안에 대응되는 영상일 수 있다.In operation 1003, the electronic device 100 may obtain an image of the first direction using the first camera module 104-1. For example, the first camera module 104 - 1 may face the front of the electronic device 100 . For example, the electronic device 100 may obtain an image having a second angle of view of the front of the electronic device 100 . For example, an image acquired through the first camera module 104-1 may be an image corresponding to the user's left eye.

동작 1005에서, 전자 장치(100)는 제2 카메라 모듈(106-2)을 이용하여 제1 방향에 대한 영상을 획득할 수 있다. 예를 들어, 제2 모드로 동작 시, 제2 카메라 모듈(106-2)은 전자 장치(100)의 전방을 향할 수 있다. 예컨대, 전자 장치(100)는 전자 장치(100)의 전방에 대한 제2 화각을 가지는 영상을 획득할 수 있다. 예를 들어, 제2 카메라 모듈(106-2)을 통해 획득되는 영상은 사용자의 우안에 대응되는 영상일 수 있다.In operation 1005, the electronic device 100 may obtain an image of the first direction using the second camera module 106-2. For example, when operating in the second mode, the second camera module 106 - 2 may face the front of the electronic device 100 . For example, the electronic device 100 may obtain an image having a second angle of view of the front of the electronic device 100 . For example, an image acquired through the second camera module 106-2 may be an image corresponding to the user's right eye.

동작 1007에서, 전자 장치(100)는 획득된 영상을 이용하여 스테레오스코픽 영상을 생성할 수 있다. 예를 들어, 전자 장치(100)는 제1 카메라 모듈(104-1) 및 제2 카메라 모듈(106-2)을 통해 획득된 영상을 하나의 영상으로 인코딩함으로써 스테레오스코픽 영상을 생성할 수 있다. In operation 1007, the electronic device 100 may generate a stereoscopic image using the obtained image. For example, the electronic device 100 may generate a stereoscopic image by encoding images acquired through the first camera module 104-1 and the second camera module 106-2 into one image.

동작 1009과 같이, 전자 장치(100)는 생성된 파노라마 영상을 외부 장치(110)로 전송할 수 있다. As in operation 1009 , the electronic device 100 may transmit the generated panoramic image to the external device 110 .

다양한 실시예에 따르면, 전자 장치(100)는 도 10과와 관련된 동작 중 적어도 하나의 동작을 생략할 수도 있다. 예를 들어, 스테레오스코픽 영상을 생성하는 동작이 외부 장치(110)에 의해 수행될 수 있다. 이러한 경우, 전자 장치(100)는 동작 1007과 관련된 동작을 생략할 수 있다.According to various embodiments, the electronic device 100 may omit at least one operation among operations related to FIG. 10 . For example, an operation of generating a stereoscopic image may be performed by the external device 110 . In this case, the electronic device 100 may omit the operation related to operation 1007.

도 11은 본 발명의 다양한 실시예에 따른 전자 장치(100)에서 카메라 위치를 설정하는 절차를 도시한 흐름도이다. 다양한 실시예에 따르면, 카메라 위치를 설정하는 전자 장치(100)의 절차는 도 10에 도시된 동작 1001에 대한 상세 동작일 수 있다.11 is a flowchart illustrating a procedure for setting a camera position in the electronic device 100 according to various embodiments of the present disclosure. According to various embodiments, a procedure of the electronic device 100 for setting a camera position may be a detailed operation of operation 1001 shown in FIG. 10 .

도 11을 참조하면, 동작 1101에서, 전자 장치(100)는 외부 장치(110)로부터 IPD(Inter-Pupillary Distance) 정보를 수신하는지를 판단할 수 있다. 예를 들어, IPD 정보는 외부 장치(110)를 착용한 사용자의 양안 사이의 간격일 수 있다. Referring to FIG. 11 , in operation 1101, the electronic device 100 may determine whether inter-pupillary distance (IPD) information is received from the external device 110 . For example, the IPD information may be the distance between both eyes of a user wearing the external device 110 .

IPD 정보를 수신하는 경우, 동작 1103에서, 전자 장치(100)는 외부 장치(110)의 IPD에 기반하여 ICD(Inter-Camera Distnace)를 측정할 수 있다. 예를 들어, ICD는 전자 장치(100)의 제1 카메라 모듈(104-1)과 제2 카메라 모듈(106-2) 사이의 거리가 될 수 있다. 예컨대, 전자 장치(100)는 IPD에 기반하여 외부 장치(110)를 착용한 사용자의 양안 사이의 거리를 확인하고, 사용자의 양안 사이의 거리에 대응되도록 제1 카메라 모듈(104-1)과 제2 카메라 모듈(106-2) 사이의 간격을 결정할 수 있다. When receiving the IPD information, in operation 1103 , the electronic device 100 may measure an Inter-Camera Distance (ICD) based on the IPD of the external device 110 . For example, the ICD may be the distance between the first camera module 104 - 1 and the second camera module 106 - 2 of the electronic device 100 . For example, the electronic device 100 checks the distance between both eyes of the user wearing the external device 110 based on the IPD, and the first camera module 104-1 and the first camera module 104-1 are configured to correspond to the distance between both eyes of the user. The distance between the two camera modules 106-2 may be determined.

IPD 정보를 수신하지 않는 경우, 동작 1105에서, 전자 장치(100)는 대상체와의 거리 확인이 가능한지 여부를 판단할 수 있다. 대상체와의 거리는 영상에 포함된 대상체(예: 피사체)와 전자 장치(100)(또는 외부 장치(110)) 사이의 거리가 될 수 있다. 예를 들어, 대상체와의 거리는 전자 장치(100) 또는 외부 장치(110)에 의해 측정될 수 있다. 예컨대, 전자 장치(100) 또는 외부 장치(110)는 초음파, 자기장 등을 이용하여 대상체와의 거리를 측정할 수 있다.If the IPD information is not received, in operation 1105, the electronic device 100 may determine whether it is possible to check the distance to the target object. The distance to the object may be the distance between the electronic device 100 (or the external device 110) and the object included in the image (eg, the subject). For example, the distance to the target object may be measured by the electronic device 100 or the external device 110 . For example, the electronic device 100 or the external device 110 may measure the distance to the target object using ultrasound or a magnetic field.

대상체와의 거리 확인이 불가능한 경우, 동작 1109에서, 전자 장치(100)는 미리 지정된 ICD 정보를 획득할 수 있다. 예를 들어, 미리 지정된 ICD 정보는 전자 장치(100)가 제2 모드로 동작 시 유지하였던 제1 카메라 모듈(104-1)과 제2 카메라 모듈(106-2) 사이의 거리일 수 있다. 또한, 미리 지정된 ICD 정보는 사용자에 의해 지정된 제1 카메라(104-1)와 제2 카메라 모듈(106-2) 사이의 거리가 될 수 있다.If it is impossible to determine the distance to the target object, in operation 1109, the electronic device 100 may acquire pre-specified ICD information. For example, the predetermined ICD information may be the distance between the first camera module 104-1 and the second camera module 106-2 maintained when the electronic device 100 operates in the second mode. Also, the pre-designated ICD information may be a distance between the first camera 104-1 and the second camera module 106-2 designated by the user.

대상체와의 거리 확인이 가능한 경우, 동작 1107에서, 전자 장치(100)는 대상체와의 거리에 기반하여 ICD를 측정할 수 있다. 예를 들어, 전자 장치(100)로부터 대상체가 가까워질 수록, 스테레오스코픽 영상에 대하여 사용자가 느끼는 입체감이 높아질 수 있다. 또한, 입체감이 높아질수록 사용자는 시각적 피로감을 느낄 수 있다. 따라서, 대상체와의 거리가 일정 거리 이상 떨어진 경우, 전자 장치(100)는 입체감을 높이기 위하여 제1 카메라 모듈(104-1)과 제2 카메라 모듈(106-2) 사이의 거리가 멀어지도록 ICD를 설정할 수 있다. 또한, 대상체와 거리가 일정 거리 미만 떨어진 경우, 전자 장치(100)는 입체감 및 시각적 피로도를 낮추기 위하여 제1 카메라 모듈(104-1)과 제2 카메라 모듈(106-2) 사이가 좁아지도록 ICD를 설정할 수 있다.If it is possible to determine the distance to the object, in operation 1107, the electronic device 100 may measure the ICD based on the distance to the object. For example, as the object gets closer to the electronic device 100, the 3D effect experienced by the user of the stereoscopic image may increase. In addition, as the three-dimensional effect increases, the user may feel visual fatigue. Accordingly, when the distance from the object is more than a certain distance, the electronic device 100 uses the ICD to increase the distance between the first camera module 104-1 and the second camera module 106-2 in order to increase the three-dimensional effect. can be set In addition, when the distance from the object is less than a certain distance, the electronic device 100 uses an ICD to narrow the gap between the first camera module 104-1 and the second camera module 106-2 in order to reduce the three-dimensional effect and visual fatigue. can be set

ICD를 측정한 것에 대응하여, 동작 1111에서, 전자 장치(100)는 ICD에 기반하여 카메라의 위치를 설정할 수 있다. 예를 들어, 전자 장치(100)는 제1 카메라 모듈(104-1), 제2 카메라 모듈(106-2) 가운데 적어도 하나의 카메라 모듈을 좌우로 이동시켜 일정 거리를 유지하도록 처리할 수 있다.In response to measuring the ICD, in operation 1111, the electronic device 100 may set the position of the camera based on the ICD. For example, the electronic device 100 may move at least one of the first camera module 104-1 and the second camera module 106-2 left and right to maintain a certain distance.

도 12는 본 발명의 다양한 실시예에 따른 전자 장치(100)의 스테레오스코픽 영상 생성 절차를 도시한 흐름도이다. 다양한 실시예에 따르면, 스테레오스코픽 영상을 생성하는 전자 장치(100)의 절차는 도 10에 도시된 동작 1007에 대한 상세 동작일 수 있다.12 is a flowchart illustrating a procedure for generating a stereoscopic image of the electronic device 100 according to various embodiments of the present disclosure. According to various embodiments, a procedure of the electronic device 100 for generating a stereoscopic image may be a detailed operation of operation 1007 shown in FIG. 10 .

동작 1201에서, 전자 장치(100)는 외부 장치(110)로부터 IPD 정보를 수신할 수 있다. 예를 들어, 전자 장치(100)는 외부 장치(110)에 의해 측정된 사용자의 양안 사이의 거리 정보, 외부 장치에 설정된 사용자의 양안 사이의 거리 정보 등을 수신할 수 있다.In operation 1201, the electronic device 100 may receive IPD information from the external device 110. For example, the electronic device 100 may receive distance information between both eyes of the user measured by the external device 110 , distance information between both eyes of the user set in the external device, and the like.

동작 1203에서, 전자 장치(100)는 외부 장치(110)의 IPD 정보와 전자 장치(100)의 ICD 정보가 일치하는지 여부를 판단할 수 있다. 예를 들어, IPD 정보와 ICD 정보가 일치하는 것은, 현재 전자 장치(100)의 카메라 모듈의 위치(예: 카메라 모듈 사이의 거리)가 외부 장치(110)를 착용한 사용자에게 적절한 입체감을 제공할 수 있는 상황일 수 있다. 또한, IPD 정보와 ICD 정보가 일치하지 않는 것은(예: IPD 정보 대비 ICD가 큰 경우), 외부 장치(110)를 착용한 사용자에게 작은 입체감을 제공할 수 있는 상황일 수 있다. 또한, IPD 정보와 ICD 정보가 일치하지 않는 것은(예: IPD 정보 대비 ICD가 작은 경우), 외부 장치(110)를 착용한 사용자에게 큰 입체감을 제공할 수 있으나 시각적 피로감이 발생될 수 있는 상황일 수 있다.In operation 1203, the electronic device 100 may determine whether IPD information of the external device 110 and ICD information of the electronic device 100 match. For example, if the IPD information and the ICD information match, the position of the camera module of the current electronic device 100 (eg, the distance between the camera modules) provides an appropriate three-dimensional effect to the user wearing the external device 110. It could be a possible situation. In addition, when the IPD information and the ICD information do not match (eg, when the ICD information is larger than the IPD information), it may be a situation in which a small three-dimensional effect can be provided to a user wearing the external device 110 . In addition, when the IPD information and the ICD information do not match (eg, when the ICD information is small compared to the IPD information), it is possible to provide a large three-dimensional effect to the user wearing the external device 110, but may cause visual fatigue. can

외부 장치(110)의 IPD 정보와 전자 장치(100)의 ICD 정보가 일치하는 경우, 동작 1205에서, 전자 장치(100)는 획득된 영상을 이용하여 스테레오스코픽 영상을 생성할 수 있다.When the IPD information of the external device 110 and the ICD information of the electronic device 100 match, in operation 1205, the electronic device 100 may generate a stereoscopic image using the obtained image.

외부 장치(110)의 IPD 정보와 전자 장치(100)의 ICD 정보가 일치하지 않는 경우, 동작 1207에서, 전자 장치(100)는 IPD에 기반하여 스테레오스코픽 영상을 생성할 수 있다. 예를 들어, 전자 장치(100)는 ICD를 변경하고 변경된 ICD에 대응하는 영상을 획득하여 스테레오스코픽 영상을 생성할 수 있다. 다른 예로, 전자 장치(100)는 획득된 영상을 IPD에 기반하여 보간하고 보간된 영상을 이용하여 스테레오스코픽 영상을 생성할 수 있다.When the IPD information of the external device 110 and the ICD information of the electronic device 100 do not match, in operation 1207, the electronic device 100 may generate a stereoscopic image based on the IPD. For example, the electronic device 100 may generate a stereoscopic image by changing the ICD and obtaining an image corresponding to the changed ICD. As another example, the electronic device 100 may interpolate the obtained image based on the IPD and generate a stereoscopic image using the interpolated image.

도 13은 본 발명의 다양한 실시예에 따른 외부 장치(110)에서 영상을 출력하는 동작을 도시한 흐름도이다. 그리고, 도 14는 본 발명의 다양한 실시예에 따른 외부 장치(110)의 파노라마 영상 출력 동작을 설명하기 위한 예시도이다. 13 is a flowchart illustrating an operation of outputting an image from the external device 110 according to various embodiments of the present disclosure. And, FIG. 14 is an exemplary diagram for explaining an operation of outputting a panoramic image of the external device 110 according to various embodiments of the present invention.

도 13을 참조하면, 동작 1301에서, 외부 장치(110)는 전자 장치(100)로부터 영상을 수신할 수 있다. 예를 들어, 전자 장치(100)로부터 수신하는 영상은 제1 모드에 대응하는 영상 또는 제2 모드에 대응하는 영상일 수 있다. 예컨대, 제1 모드는 360도 파노라마 영상과 연관되고, 제2 모드는 스테레오스코픽 영상과 연관될 수 있다.Referring to FIG. 13 , in operation 1301, the external device 110 may receive an image from the electronic device 100. For example, the image received from the electronic device 100 may be an image corresponding to the first mode or an image corresponding to the second mode. For example, the first mode may be associated with a 360-degree panoramic image, and the second mode may be associated with a stereoscopic image.

동작 1303에서, 외부 장치(110)는 전자 장치(100)로부터 제1 모드에 대응하는 영상을 수신하는지를 판단한다. In operation 1303, the external device 110 determines whether an image corresponding to the first mode is received from the electronic device 100.

제1 모드에 대응하는 영상을 수신하는 것에 대응하여, 동작 1305에서, 외부 장치(110)는 영상 출력 범위를 결정할 수 있다. 예를 들어, 외부 장치(110)는 도 14에 도시된 바와 같이, 수신된 영상(1400) 가운데 사용자의 시선에 대응하는 영상의 일부분(1410)을 결정할 수 있다. 예컨대, 외부 장치(110)는 외부 장치(110)(또는 사용자)의 움직임과 외부 장치(110)에 설정된 시야각(Field of View)에 기반하여 현재 사용자의 시선에 대응하는 출력 범위를 결정할 수 있다.In response to receiving an image corresponding to the first mode, in operation 1305, the external device 110 may determine an image output range. For example, as shown in FIG. 14 , the external device 110 may determine a portion 1410 of the image corresponding to the user's gaze from among the received image 1400 . For example, the external device 110 may determine an output range corresponding to the current user's gaze based on the movement of the external device 110 (or the user) and a field of view set in the external device 110.

출력 범위를 결정한 것에 대응하여, 동작 1307에서, 외부 장치(110)는 출력 범위에 기반하여 영상을 출력할 수 있다(1420). In response to determining the output range, in operation 1307, the external device 110 may output an image based on the output range (1420).

제2 모드에 대응하는 영상을 수신하는 것에 대응하여, 동작 1309와 같이, 외부 장치(110)는 전자 장치(100)의 ICD 정보와 외부 장치(110)의 IPD 정보를 획득할 수 있다. In response to receiving an image corresponding to the second mode, in operation 1309, the external device 110 may obtain ICD information of the electronic device 100 and IPD information of the external device 110.

동작 1311에서, 외부 장치(110)는 전자 장치(100)의 ICD 정보와 외부 장치(110)의 IPD 정보에 기반하여 스테레오스코픽 영상에 대한 입체감 변경이 필요한지 여부를 판단할 수 있다. 예를 들어, 외부 장치(110)는 전자 장치(100)의 ICD 정보와 외부 장치(110)의 IPD 정보가 일치하는 경우, 입체감 변경이 불필요하다고 판단할 수 있다. 또한, 외부 장치(110)는 전자 장치(100)의 ICD 정보와 외부 장치(110)의 IPD 정보가 일치하지 않는 경우, 입체감 변경이 필요하다고 판단할 수 있다. In operation 1311, the external device 110 may determine whether it is necessary to change the 3D effect of the stereoscopic image based on the ICD information of the electronic device 100 and the IPD information of the external device 110. For example, when the ICD information of the electronic device 100 and the IPD information of the external device 110 match, the external device 110 may determine that a 3D effect change is unnecessary. Also, when the ICD information of the electronic device 100 and the IPD information of the external device 110 do not match, the external device 110 may determine that a 3D effect change is necessary.

전자 장치(100)의 ICD 정보와 외부 장치(110)의 IPD 정보가 일치하는 경우, 동작 1315에서, 외부 장치(110)는 입체감을 변경하지 않고 수신한 영상을 그대로 출력할 수 있다. When the ICD information of the electronic device 100 and the IPD information of the external device 110 match, in operation 1315, the external device 110 may output the received image as it is without changing the 3D effect.

전자 장치(100)의 ICD 정보와 외부 장치(110)의 IPD 정보가 일치하지 않는 경우, 동작 1317에서, 외부 장치(110)는 영상 출력을 제어할 수 있다. 예를 들어, 외부 장치(110)는 현재 출력되는 영상이 시각적 피로감을 발생시킬 수 있음을 나타내는 가이드 정보를 출력하거나 또는 시각적 피로감이 줄어들도록 수신된 영상에 대한 입체감을 줄일 수 있다.When the ICD information of the electronic device 100 and the IPD information of the external device 110 do not match, in operation 1317, the external device 110 may control video output. For example, the external device 110 may output guide information indicating that a currently output image may cause visual fatigue or may reduce a 3D effect of a received image to reduce visual fatigue.

다양한 실시예에 따르면, 외부장치 110은 동작 1303에서, 외부 장치(110)는 전자 장치(100)로부터 제2 모드에 대응하는 영상을 수신하는지를 판단할 경우, 제2 모드에 대응하는 영상을 수신하는 것에 대응하여, 외부 장치는 수신한 스트레오스코픽 영상을 디스플레이에 출력할 수 있다.According to various embodiments, when the external device 110 determines whether the external device 110 receives the image corresponding to the second mode from the electronic device 100 in operation 1303, the external device 110 receives the image corresponding to the second mode. Correspondingly, the external device may output the received stereoscopic image to a display.

도 15는 본 발명의 다양한 실시예에 따른 외부 장치(110)의 영상 출력 제어 절차를 도시한 흐름도이다. 그리고, 도 16은 본 발명의 다양한 실시예에 따른 외부 장치(110)의 가이드 정보 출력 동작을 설명하기 위한 예시도이다. 다양한 실시예에 따르면, 영상 출력을 제어하는 외부 장치(110)의 절차는 도 13에 도시된 동작 1317에 대한 상세 동작일 수 있다.15 is a flowchart illustrating a video output control procedure of the external device 110 according to various embodiments of the present disclosure. And, FIG. 16 is an exemplary diagram for explaining an operation of outputting guide information of the external device 110 according to various embodiments of the present disclosure. According to various embodiments, a procedure of the external device 110 for controlling video output may be a detailed operation of operation 1317 shown in FIG. 13 .

도 15를 참조하면, 동작 1501에서, 외부 장치(110)는 외부 장치(110)의 IPD와 전자 장치(100)의 ICD 차이가 기준 범위에 포함되는지 여부를 판단할 수 있다. 기준 범위는 스테레오스코픽 영상에 대하여 시청 가능 여부를 판단하는데 사용되는 정보가 될 수 있다. 예를 들어, 외부 장치(110)의 IPD와 전자 장치(100)의 ICD 차이가 기준 범위에 포함되는 경우, 외부 장치(110)는 사용자가 시각적 피로감을 느낄 수 있으나 스테레오스코픽 영상을 시청할 수 있다고 판단할 수 있다. 또한, 외부 장치(110)의 IPD와 전자 장치(100)의 ICD 차이가 기준 범위를 벗어나는 경우, 외부 장치(110)는 사용자가 느끼는 시각적 피로감이 커서 스테레오스코픽 영상을 시청할 수 없다고 판단할 수 있다.Referring to FIG. 15 , in operation 1501, the external device 110 may determine whether a difference between the IPD of the external device 110 and the ICD of the electronic device 100 is included in the reference range. The reference range may be information used to determine whether a stereoscopic image can be viewed. For example, when the difference between the IPD of the external device 110 and the ICD of the electronic device 100 is included in the reference range, the external device 110 determines that the user may feel visual fatigue but can view the stereoscopic image. can do. In addition, when the difference between the IPD of the external device 110 and the ICD of the electronic device 100 is out of the reference range, the external device 110 may determine that the user cannot view the stereoscopic image because of the high visual fatigue.

외부 장치(110)의 IPD와 전자 장치(100)의 ICD 차이가 기준 범위를 벗어나는 경우, 동작 1509에서, 외부 장치(110)는 IPD에 기반하여 수신 영상을 처리할 수 있다. 예를 들어, 외부 장치(110)는 수신된 영상을 사용자의 실제 양안에 대응하는 영상으로 보간하여 입체감을 조절하거나 또는 시각적 피로감을 줄일 수 있다. 또한, 동작 1511에서, 외부 장치(110)는 입체감이 조절되거나 또는 시각적 피로감이 줄어들도록 처리된 영상을 출력할 수 있다. 일 실시예에 따르면, 외부 장치(110)는, IPD에 기반하여 수신 영상을 처리하기 전에, 영상 처리를 위한 사용자의 선택을 감지할 수 있다. 예를 들어, 외부 장치(110)는, IPD에 기반하여 수신 영상을 처리하기 전에, 시각적 피로감을 발생시킬 수 있음을 나타내는 가이드 정보를 출력할 수 있다. 또한, 외부 장치(110)는, 가이드 정보를 출력한 후, 영상 처리를 지시하는 입력을 감지하는 것에 대응하여 IPD에 기반하여 수신 영상을 처리할 수 있다.When the difference between the IPD of the external device 110 and the ICD of the electronic device 100 is out of the reference range, in operation 1509, the external device 110 may process the received image based on the IPD. For example, the external device 110 may interpolate the received image into an image corresponding to the user's actual both eyes to adjust the 3D effect or reduce visual fatigue. Also, in operation 1511, the external device 110 may output an image processed to have a three-dimensional effect or to reduce visual fatigue. According to an embodiment, the external device 110 may detect a user's selection for image processing before processing the received image based on the IPD. For example, the external device 110 may output guide information indicating that visual fatigue may occur before processing the received image based on the IPD. In addition, the external device 110 may process the received image based on the IPD in response to detecting an input instructing image processing after outputting guide information.

외부 장치(110)의 IPD와 전자 장치(100)의 ICD 차이가 기준 범위에 포함되는 경우, 동작 1503에서, 외부 장치(110)는 가이드 정보를 출력할 수 있다. 예를 들어, 외부 장치(110)는, 도 16에 도시된 바와 같이, 현재 출력되는 영상(1600)이 시각적 피로감을 발생시킬 수 있음을 나타내는 가이드 정보(1610)를 출력할 수 있다.When the difference between the IPD of the external device 110 and the ICD of the electronic device 100 is included in the reference range, in operation 1503, the external device 110 may output guide information. For example, as shown in FIG. 16 , the external device 110 may output guide information 1610 indicating that the currently output image 1600 may cause visual fatigue.

동작 1505에서, 외부 장치(110)는 현재 영상을 출력할 것인지 여부를 판단할 수 있다. 예를 들어, 외부 장치(110)는 현재 영상을 출력하도록 지시하는 입력이 감지되는지 여부를 판단할 수 있다.In operation 1505, the external device 110 may determine whether to output the current image. For example, the external device 110 may determine whether an input instructing to output a current image is sensed.

현재 영상을 출력하는 경우, 동작 1507에서, 외부 장치(110)는 수신 영상을 출력할 수 있다. 예를 들어, 외부 장치(110)는 현재 영상이 시각적 피로감을 발생시킬 수 있으나 사용자에 선택에 따라 수신 영상을 출력할 수 있다.In case of outputting the current video, in operation 1507, the external device 110 may output the received video. For example, the external device 110 may output a received image according to the user's selection even though the current image may cause visual fatigue.

현재 영상을 출력하지 않는 경우, 외부 장치(110)는 IPD 기반에 기반하여 수신 영상을 처리하는 동작을 수행할 수 있다. 예를 들어, 외부 장치(110)는 동작 1509 내지 동작 1511과 연관된 동작을 수행할 수 있다. If the current image is not output, the external device 110 may perform an operation of processing the received image based on the IPD. For example, the external device 110 may perform operations associated with operations 1509 to 1511.

도 17은 본 발명의 다양한 실시예에 따른 전자 장치(100)의 영상 촬영 동작을 도시한 흐름도이다. 일 실시예에 따르면, 전자 장치(100)는 파노라마 영상 및/또는 스테레오스코픽 영상을 생성할 수 있다. 또한, 전자 장치(100)는 파노라마 영상 및/또는 스테레오스코픽 영상을 생성하기 위하여 서로 다른 동작 모드로 영상을 획득할 수 있다. 17 is a flowchart illustrating an image capturing operation of the electronic device 100 according to various embodiments of the present disclosure. According to an embodiment, the electronic device 100 may generate a panoramic image and/or a stereoscopic image. Also, the electronic device 100 may acquire images in different operation modes to generate a panoramic image and/or a stereoscopic image.

도 17을 참조하면, 동작 1701에서, 전자 장치(100)는 영상 촬영 모를 확인할 수 있다. 예를 들어, 전자 장치(100)는 제1 카메라 모듈(104-1)과 제2 카메라 모듈(106-2)의 회전 상태에 기반하여 영상 촬영 모드를 확인할 수 있다. 다른 예로, 전자 장치(100)는 사용자의 입력에 기반하여 영상 촬영 모드를 확인할 수 있다.Referring to FIG. 17 , in operation 1701, the electronic device 100 may check an image capturing mode. For example, the electronic device 100 may check the image capture mode based on the rotation states of the first camera module 104-1 and the second camera module 106-2. As another example, the electronic device 100 may check an image capture mode based on a user's input.

동작 1703에서, 전자 장치(100)는 제1 모드의 영상 촬영 모드가 확인되는지 또는 제2 모드의 영상 촬영 모드가 확인되는지를 판단할 수 있다. 예를 들어, 제1 모드의 영상 촬영 모드는 360도 파노라마 영상을 촬영하는 모드가 될 수 있다. 또한, 제2 모드의 영상 촬영 모드는 스테레오스코픽 영상을 촬영하는 모드가 될 수 있다.In operation 1703, the electronic device 100 may determine whether the image capturing mode of the first mode or the image capturing mode of the second mode is confirmed. For example, the image capture mode of the first mode may be a mode for capturing a 360-degree panoramic image. Also, the image capture mode of the second mode may be a mode for capturing a stereoscopic image.

제1 모드의 영상 촬영 모드가 확인되면, 동작 1705에서, 전자 장치(100)는 제1 모드에 대응하는 화각을 설정할 수 있다. 예를 들어, 전자 장치(100)는 360도 파노라마 영상을 생성하기 위하여 제1 카메라 모듈(104-1) 및 제2 카메라 모듈(106-2)의 화각이 180도 이상이 되도록 설정할 수 있다. 또한, 동작 1707에서, 전자 장치(100)는 제1 방향 및 제2 방향에 대한 복수의 영상을 획득할 수 있다. 예를 들어, 전자 장치(100)는 제1 카메라 모듈(104-1)을 통해 전자 장치(100)의 전방에 대한 영상을 획득하고, 제2 카메라 모듈(106-2)을 통해 전자 장치(100)의 후방에 대한 영상을 획득할 수 있다. 또한, 동작 1709에서, 전자 장치(100)는 획득된 제1 방향 및 제2 방향에 대한 영상을 이용하여 파노라마 영상을 생성할 수 있다.If the image capture mode of the first mode is confirmed, in operation 1705, the electronic device 100 may set a view angle corresponding to the first mode. For example, the electronic device 100 may set the angles of view of the first camera module 104-1 and the second camera module 106-2 to be 180 degrees or more in order to generate a 360-degree panoramic image. Also, in operation 1707, the electronic device 100 may obtain a plurality of images of the first direction and the second direction. For example, the electronic device 100 acquires an image of the front of the electronic device 100 through the first camera module 104-1, and the electronic device 100 through the second camera module 106-2. ) can acquire an image of the rear. Also, in operation 1709, the electronic device 100 may generate a panoramic image using the obtained images of the first and second directions.

제2 모드의 영상 촬영 모드가 확인되면, 동작 1711에서, 전자 장치(100)는 제2 모드에 대응하는 화각을 설정할 수 있다. 예를 들어, 전자 장치(100)는 사용자의 좌안 및 우안에 해당하는 영상을 획득하기 위하여 제1 카메라 모듈(104-1) 및 제2 카메라 모듈(106-2)의 화각을 설정할 수 있다. 예컨대, 전자 장치(100)는 제1 카메라 모듈(104-1) 및 제2 카메라 모듈(106-2)의 화각을 제1 화각보다 작은 제2 화각으로 설정할 수 있다. 또한, 동작 1713에서, 전자 장치(100)는 제1 방향에 대한 복수의 영상을 획득할 수 있다. 예를 들어, 전자 장치(100)는 제1 카메라 모듈(104-1) 및 제2 카메라 모듈(100)을 통해 전자 장치(100)의 전방에 대한 영상을 획득할 수 있다. 또한, 동작 1715와 같이, 전자 장치(100)는 획득된 제1 방향에 대한 영상을 이용하여 스테레오스코픽 영상을 생성할 수 있다.When the image capture mode of the second mode is confirmed, in operation 1711, the electronic device 100 may set a view angle corresponding to the second mode. For example, the electronic device 100 may set the angles of view of the first camera module 104-1 and the second camera module 106-2 to obtain images corresponding to the user's left and right eyes. For example, the electronic device 100 may set the angles of view of the first camera module 104-1 and the second camera module 106-2 to a second angle of view smaller than the first angle of view. Also, in operation 1713, the electronic device 100 may obtain a plurality of images of the first direction. For example, the electronic device 100 may acquire a front image of the electronic device 100 through the first camera module 104 - 1 and the second camera module 100 . Also, like operation 1715, the electronic device 100 may generate a stereoscopic image using the acquired image of the first direction.

본 문서에서 사용된 용어 "모듈"은 하드웨어, 소프트웨어 또는 펌웨어로 구성된 유닛을 포함하며, 예를 들면, 로직, 논리 블록, 부품, 또는 회로 등의 용어와 상호 호환적으로 사용될 수 있다. "모듈"은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는 최소 단위 또는 그 일부가 될 수 있다. "모듈"은 기계적으로 또는 전자적으로 구현될 수 있으며, 예를 들면, 어떤 동작들을 수행하는, 알려졌거나 앞으로 개발될, ASIC(application-specific integrated circuit) 칩, FPGAs(field-programmable gate arrays), 또는 프로그램 가능 논리 장치를 포함할 수 있다. 다양한 실시예에 따른 장치(예: 모듈들 또는 그 기능들) 또는 방법(예: 동작들)의 적어도 일부는 프로그램 모듈의 형태로 컴퓨터로 판독 가능한 저장 매체(예: 메모리(130))에 저장된 명령어로 구현될 수 있다. 상기 명령어가 프로세서(예: 프로세서(120))에 의해 실행될 경우, 프로세서가 상기 명령어에 해당하는 기능을 수행할 수 있다. 컴퓨터로 판독 가능한 기록 매체는, 하드디스크, 플로피디스크, 마그네틱 매체(예: 자기테이프), 광기록 매체(예: CD-ROM, DVD, 자기-광 매체 (예: 플롭티컬 디스크), 내장 메모리 등을 포함할 수 있다. 명령어는 컴파일러에 의해 만들어지는 코드 또는 인터프리터에 의해 실행될 수 있는 코드를 포함할 수 있다. 다양한 실시예에 따른 모듈 또는 프로그램 모듈은 전술한 구성요소들 중 적어도 하나 이상을 포함하거나, 일부가 생략되거나, 또는 다른 구성요소를 더 포함할 수 있다. 다양한 실시예에 따른, 모듈, 프로그램 모듈 또는 다른 구성요소에 의해 수행되는 동작들은 순차적, 병렬적, 반복적 또는 휴리스틱하게 실행되거나, 적어도 일부 동작이 다른 순서로 실행되거나, 생략되거나, 또는 다른 동작이 추가될 수 있다.The term "module" used in this document includes a unit composed of hardware, software, or firmware, and may be used interchangeably with terms such as logic, logic block, component, or circuit, for example. A “module” may be an integrally constructed component or a minimal unit or part thereof that performs one or more functions. A "module" may be implemented mechanically or electronically, for example, a known or future developed application-specific integrated circuit (ASIC) chip, field-programmable gate arrays (FPGAs), or A programmable logic device may be included. At least some of the devices (eg, modules or functions thereof) or methods (eg, operations) according to various embodiments are instructions stored in a computer-readable storage medium (eg, the memory 130) in the form of program modules. can be implemented as When the command is executed by a processor (eg, the processor 120), the processor may perform a function corresponding to the command. Computer-readable recording media include hard disks, floppy disks, magnetic media (e.g. magnetic tape), optical recording media (e.g. CD-ROM, DVD, magneto-optical media (e.g. floptical disks), built-in memory, etc.) A command may include code generated by a compiler or code executable by an interpreter A module or program module according to various embodiments may include at least one or more of the above-described components or , some may be omitted, or may further include other elements.According to various embodiments, operations performed by modules, program modules, or other elements may be executed sequentially, in parallel, iteratively, or heuristically, or at least Some actions may be performed in a different order, omitted, or other actions may be added.

그리고 본 문서에 개시된 실시예는 개시된, 기술 내용의 설명 및 이해를 위해 제시된 것이며, 본 발명의 다양한 실시예의 범위를 한정하는 것은 아니다. 따라서, 본 발명의 다양한 실시예의 범위는, 본 발명의 다양한 실시예의 기술적 사상에 근거한 모든 변경 또는 다양한 다른 실시예를 포함하는 것으로 해석되어야 한다.And the embodiments disclosed in this document are presented for explanation and understanding of the disclosed technical content, and do not limit the scope of various embodiments of the present invention. Therefore, the scope of various embodiments of the present invention should be construed as including all changes or various other embodiments based on the technical spirit of various embodiments of the present invention.

Claims

In electronic devices,
a first housing;
a second housing;
a first camera module included in the first housing;
a second camera module included in the second housing; and
When an image of a first angle of view is acquired through the first camera module and the second camera module by operating in the first mode, and the photographing direction of at least one of the first camera module and the second camera module is changed, the A processor configured to operate in a second mode for acquiring an image of a second angle of view through a first camera module and the second camera module;
the processor,
The electronic device configured to obtain an image of the second view angle smaller than the first view angle in response to operating in the second mode.

According to claim 1,
The first housing and the second housing are connected by a hinge module,
the processor,
An electronic device configured to determine a photographing direction based on at least one housing rotating about the hinge module.

According to claim 1,
The first mode includes a panoramic image mode,
The processor is configured to generate a panoramic image using images obtained through the first camera module and the second camera module.

According to claim 1,
The second mode includes a stereoscopic image mode,
The processor is configured to generate a stereoscopic image using images acquired through the first camera module and the second camera module.

According to claim 1,
the processor,
An electronic device configured to obtain distance information between both eyes of a user from an external device and determine a distance between the first camera module and the second camera module based on the obtained distance information.

According to claim 1,
the processor,
An electronic device configured to obtain distance information between an object to be photographed and the electronic device, and adjust a distance between the first camera module and the second camera module based on the obtained distance information.

delete

According to claim 1,
the processor,
Corresponding to the operation in the first mode, an image of a first angle of view in a first direction is obtained by controlling the first camera module, and an image of a first angle of view in a second direction is obtained by controlling the second camera module. acquire the image,
The electronic device configured to obtain an image of a first view angle in a first direction by controlling the first camera module and the second camera module in response to the operation in the second mode.

In the operating method of the electronic device,
obtaining an image of a first view angle through the first camera module and the second camera module in response to operating in the first mode;
determining whether a photographing direction of at least one of the first camera module and the second camera module is changed; and
When at least one photographing direction is changed, an operation of changing to a second mode for acquiring an image of a second angle of view through the first camera module and the second camera module,
The operation of changing to the second mode,
and changing angles of view of the first camera module and the second camera module to the second angle of view smaller than the first angle of view.

◈Claim 10 was abandoned when the registration fee was paid.◈

According to claim 9,
The operation of determining whether the shooting direction of at least one of the first camera module and the second camera module is changed,
and detecting rotation of the first camera module and the second camera module.

◈Claim 11 was abandoned when the registration fee was paid.◈

According to claim 9,
The operation of acquiring the image of the first angle of view,
and generating a panoramic image using images acquired through the first camera module and the second camera module.

◈Claim 12 was abandoned when the registration fee was paid.◈

According to claim 9,
The operation of acquiring the image of the second angle of view,
and generating a stereoscopic image using images acquired through the first camera module and the second camera module.

◈Claim 13 was abandoned when the registration fee was paid.◈

According to claim 9,
The operation of changing to the second mode,
obtaining distance information between both eyes of the user from an external device;
and determining a distance between the first camera module and the second camera module based on the obtained distance information.

◈Claim 14 was abandoned when the registration fee was paid.◈

According to claim 9,
The operation of changing to the second mode,
obtaining distance information between an object to be photographed and the electronic device;
and determining a distance between the first camera module and the second camera module based on the obtained distance information.

delete

In the external device,
communications department;
display; and
A processor functionally connected to the communication unit and the display and configured to determine a display method according to a type of an image received from the outside;
the processor,
In response to receiving the panoramic image, determining a portion corresponding to the user's line of sight among the received panoramic image as an output range;
In response to receiving a stereoscopic image, an external device configured to determine whether to control an output of the received stereoscopic image.

According to claim 16,
the processor,
An external device configured to determine whether to control an output of the stereoscopic image based on a difference between the viewpoints of the stereoscopic image and the distance between both eyes of a user.

◈Claim 18 was abandoned when the registration fee was paid.◈

According to claim 16,
the processor,
An external device configured to control output by providing guide information indicating visual fatigue of the stereoscopic image.

◈Claim 19 was abandoned when the registration fee was paid.◈

According to claim 16,
the processor,
An external device configured to process the stereoscopic image to correspond to both eyes of the user.

◈Claim 20 was abandoned when the registration fee was paid.◈

According to claim 16,
the processor,
An external device configured to transmit information about both eyes of a user to an electronic device that generates the stereoscopic image.