KR102022559B1 - Method and computer program for photographing image without background and taking composite photograph using digital dual-camera - Google Patents

Method and computer program for photographing image without background and taking composite photograph using digital dual-camera Download PDF

Info

Publication number
KR102022559B1
KR102022559B1 KR1020190060751A KR20190060751A KR102022559B1 KR 102022559 B1 KR102022559 B1 KR 102022559B1 KR 1020190060751 A KR1020190060751 A KR 1020190060751A KR 20190060751 A KR20190060751 A KR 20190060751A KR 102022559 B1 KR102022559 B1 KR 102022559B1
Authority
KR
South Korea
Prior art keywords
image
user
camera
images
cameras
Prior art date
Application number
KR1020190060751A
Other languages
Korean (ko)
Inventor
이명호
Original Assignee
주식회사 티슈
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 티슈 filed Critical 주식회사 티슈
Priority to KR1020190060751A priority Critical patent/KR102022559B1/en
Application granted granted Critical
Publication of KR102022559B1 publication Critical patent/KR102022559B1/en

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/271Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H04N5/2258
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

Disclosed are a background-free image capturing using a dual camera and a capturing method of composite images using the same. According to the present invention, the capturing method comprises the following steps: when a capturing is requested from a user, analyzing a plurality of images captured by a plurality of cameras to generate a depth map; using the depth map to identify one or more part images forming an image; displaying a user interface capable of identifying and selecting one or more part images as a live view image on a main image displayed on a screen of a digital capturing device; receiving a user input through the user interface; and when an image saving is requested from a user, generating a photo, as a new main image, from which a part image selected and removed from the main image is deleted, according to a user input through the user interface to save the same in a storage unit. Accordingly, the present invention can capture a photo in real time which contains a desirable object only by means of identification of outlines of each object and selection, without any editing processes.

Description

듀얼 카메라를 이용한 무배경 이미지 촬영과 이를 이용한 합성사진 촬영 방법 및 컴퓨터 프로그램 {Method and computer program for photographing image without background and taking composite photograph using digital dual-camera}Backgroundless image capture using dual cameras and method and computer program using it {Method and computer program for photographing image without background and taking composite photograph using digital dual-camera}

본 발명은 디지털 촬영 장치에서 사진을 촬영하는 방법에 대한 것으로, 더 구체적으로는 사진 촬영 후의 별도 편집 과정 없이 복수의 카메라를 통해 획득되는 영상들을 이용하여 배경을 삭제한 사진이나 다른 영상과 합성한 사진을 실시간으로 촬영할 수 있도록 하는 영상 촬영 방법 및 컴퓨터 프로그램에 대한 것이다.The present invention relates to a method of capturing a photograph in a digital photographing apparatus, and more specifically, a photograph in which a background is deleted or another photograph is synthesized by using images acquired through a plurality of cameras without a separate editing process after photographing. The present invention relates to an image capturing method and a computer program for capturing images in real time.

최신 휴대폰에 탑재되는 듀얼 카메라는 카메라 렌즈가 2 개로 이루어진 스마트폰용 카메라 모듈이다. 2개의 렌즈를 이용해 촬영을 함으로써 사진의 품질을 개선하거나, 각각 다른 화각의 사진을 획득하거나, 정확한 안면 인식(길이 외에 깊이까지 인식)으로 보안이나 AI(Artificial Intelligence)의 사물 인식 등에 활용하거나, 3D 이미지를 생성함으로써 가상 현실, 증강 현실의 효과를 구현할 수 있다.The dual cameras in the latest mobile phones are camera modules for smartphones with two camera lenses. Shooting with two lenses improves the quality of photographs, acquires photos with different angles of view, utilizes accurate facial recognition (depth beyond length) for security or AI (Artificial Intelligence) object recognition, or 3D By generating images, the effects of virtual reality and augmented reality can be realized.

한편, 누끼(ぬき)란 '빼다'라는 뜻의 일본어로 글자에는 색을 빼고 배경에 색을 칠하는 인쇄 방법을 나타내며, 필요치 않은 부분은 빼내고 필요한 피사체만 인쇄되도록 하는 것이다. 그래픽 디자인 작업에서는 '누끼를 딴다'는 표현을 쓰는데, 배경이 있는 이미지에서 필요한 피사체만을 포토샵 등으로 잘라내는 작업, 즉 배경을 없애는 것을 누끼라고 한다.On the other hand, the word "누" is a Japanese word for "subtract" refers to the printing method to color the background without the color, and to remove the parts that are not necessary to print only the necessary subject. In the graphic design work, we use the expression 'picking up locusts', which is to remove only the necessary subjects from an image with a background, such as Photoshop, to remove the background.

그러나, 촬영해서 저장된 사진을 포토샵 등의 그래픽 편집 소프트웨어를 이용해 편집하여 누끼를 하는 작업은 전문 기술이 필요한 것은 물론, 그래픽 전문가라 하더라도 많은 소요 시간과 노력이 필요한 작업이며, 스마트폰 등의 디지털 촬영 장치로 사진을 찍는 일반적인 사용자는 고가의 그래픽 편집 소프트웨어를 가지고 있지도 않고 이를 이용한 그래픽 편집 작업 역시 수행하기가 어렵다.However, it is necessary not only to have professional skills but also to take a lot of time and effort even for graphic professionals, and to take pictures by editing them using graphic editing software such as Photoshop. The average user who takes a picture does not have expensive graphic editing software and it is difficult to perform graphic editing.

또한 촬영 영상을 별도로 가공, 편집하지 않고서는 이모티콘이나 아이콘, 디자인 합성작업 등에 촬영 영상을 디자인 소스로 직접 사용할 수가 없다.In addition, you cannot directly use the captured image as a design source for emoticons, icons, design synthesis, etc. without processing and editing the captured image separately.

본 발명은 상기와 같은 종래 기술의 문제점을 해소하기 위한 것으로, 복수의 카메라를 구비한 디지털 촬영 장치에서 사진 촬영 후에 별도의 편집 과정 없이 사용자가 원하는 오브젝트만을 배경 이미지가 없는 상태의 사진으로 실시간 촬영할 수 있도록 하는 영상 촬영 방법을 제공하기 위한 것이다.The present invention is to solve the problems of the prior art as described above, after taking a picture in a digital photographing device having a plurality of cameras can be taken in real time as a picture without the background image only the object desired by the user without a separate editing process. It is to provide a video recording method.

또한, 본 발명은 복수의 카메라를 구비한 디지털 촬영 장치에서 사진 촬영 후에 별도의 편집 과정 없이 각 오브젝트의 윤곽을 파악하고 사용자가 원하는 오브젝트들을 선별하여 포함시킨 사진을 실시간으로 촬영할 수 있도록 하는 영상 촬영 방법을 제공하기 위한 것이다.In addition, the present invention captures the contour of each object in the digital photographing device having a plurality of cameras after taking a picture without a separate editing process, and allows the user to shoot in real time to take a picture containing the selected objects included in real time It is to provide.

또한, 본 발명은 복수의 후방 카메라로 촬영되는 영상에서 배경 등 사용자가 원하지 않는 부분 영상을 소거하고, 소거된 배경 부분에 다른 촬영 이미지나 그래픽 이미지 등을 합성하여 실시간 영상 촬영하는 방법을 제공하기 위한 것이다.The present invention also provides a method of erasing partial images, such as a background, that are not desired by a user from images captured by a plurality of rear cameras, and synthesizing another shot image or graphic image on the erased background portion to provide a method of capturing real-time images. will be.

또한, 본 발명은 복수의 후방 카메라로 촬영되는 영상에서 배경 등 사용자가 원하지 않는 부분 영상을 소거하고 전방 카메라로 촬영한 전방 이미지에 합성할 수 있는 영상 촬영 방법을 제공하기 위한 것이다.In addition, the present invention is to provide an image capturing method capable of erasing a partial image, such as a background, that is not desired by a user from an image photographed by a plurality of rear cameras and combining the front image captured by a front camera.

상기와 같은 목적을 달성하기 위하여, 본 발명의 일 실시예에 따른, 듀얼 카메라를 이용한 무배경 이미지 촬영과 이를 이용한 합성사진 촬영 방법은, 사용자로부터 사진 촬영이 요청되면, 상기 복수의 카메라를 통해 촬영되는 복수의 영상을 분석하여 깊이맵을 생성하는 단계와; 상기 깊이맵을 이용하여 영상을 구성하는 하나 이상의 부분 영상을 판별하는 단계와; 상기 디지털 촬영 장치의 화면에 디스플레이된 주영상 위에, 상기 하나 이상의 부분 영상을 구분하여 선택할 수 있는 사용자 인터페이스를 라이브뷰 영상으로 디스플레이하는 단계와; 상기 사용자 인터페이스를 통한 사용자의 입력을 수신하는 단계와; 상기 사용자로부터 사진 저장이 요청되면, 상기 사용자 인터페이스를 통한 사용자의 입력에 따라 상기 주영상에서 선택 배제된 부분 영상을 삭제한 사진을 새로운 주영상으로 생성하여 저장부에 저장하는 단계;를 포함할 수 있다.In order to achieve the above object, according to an embodiment of the present invention, a background-free image recording using a dual camera and a composite photo recording method using the same, when photographing is requested from the user, the camera photographed through the plurality of cameras Generating a depth map by analyzing a plurality of images; Determining at least one partial image constituting an image using the depth map; Displaying a user interface for classifying and selecting the one or more partial images as a live view image on the main image displayed on the screen of the digital photographing apparatus; Receiving a user input via the user interface; If the user is requested to save a photo, generating a new main image stored in the storage unit by deleting a partial image selected and excluded from the main image according to a user input through the user interface; have.

상기 저장 단계는, 상기 선택 배제된 부분 영상을 삭제한 사진과 상기 사용자에 의해 선택된 다른 영상을 합성한 사진을 주영상으로 저장하는 단계;를 포함할 수 있다.The storing may include storing a picture obtained by deleting the selected partial image and another picture selected by the user as a main image.

상기 저장 단계는, 상기 선택 배제된 부분 영상을 삭제한 사진과 상기 단말의 전방 카메라를 통해 촬영된 영상을 합성한 사진을 주영상으로 저장하는 단계;를 포함할 수 있다.The storing may include storing a picture obtained by deleting the partial excluded image and a picture obtained by synthesizing an image taken by the front camera of the terminal as a main image.

상기 저장 단계는, 상기 사용자에 의해 선택되지 않은 부분 영상까지 포함하는 오리지널 주영상을 상기 새로운 주영상의 레이어로 함께 저장하는 단계;를 포함할 수 있다.The storing may include storing an original main image including a partial image not selected by the user together as a layer of the new main image.

상기 깊이맵 생성 단계는, 상기 복수의 카메라가 다른 화각을 가지는 경우, 상기 복수의 카메라를 통해 촬영되는 복수의 영상에 포함되는 동일 오브젝트의 가로 또는 세로 크기가 동일해지도록 광각 카메라에 의해 촬영되는 영상을 크롭한 후에 상기 복수의 영상 내 동일 오브젝트들 간의 이격 거리를 파악하는 단계;를 포함할 수 있다.In the depth map generation step, when the plurality of cameras have different angles of view, the image photographed by the wide-angle camera so that the horizontal or vertical size of the same object included in the plurality of images photographed by the plurality of cameras is the same. After cropping, determining a separation distance between the same objects in the plurality of images.

상기 촬영 방법은, 상기 사용자에 의해 선택 배제된 부분 영상을 삭제한 사진을 상기 저장부로부터 독출하여 디스플레이하는 단계와; 상기 복수의 카메라 중 하나로 촬영되는 영상을 상기 디스플레이된 누끼 영상의 배경 이미지로 합성한 사진을 획득하는 단계;를 더 포함할 수 있다.The photographing method may further include: reading and displaying a picture from which the partial image selected and excluded by the user is deleted from the storage unit; The method may further include obtaining a photograph obtained by synthesizing an image photographed by one of the plurality of cameras into a background image of the displayed nucleus image.

상기 촬영 방법은, 상기 사용자 인터페이스를 통해 선택된 복수의 부분 영상에서 피사체의 얼굴을 인식하고 인식된 얼굴의 크기가 서로 유사하도록 상기 선택된 부분 영상들의 크기를 자동으로 조정하는 단계;를 더 포함할 수 있다.The photographing method may further include recognizing a face of a subject in the plurality of partial images selected through the user interface and automatically adjusting the sizes of the selected partial images so that the sizes of the recognized faces are similar to each other. .

본 발명에 의하면, 복수의 카메라를 구비한 디지털 촬영 장치에서 사진 촬영 후에 별도의 편집 과정 없이 각 오브젝트의 윤곽을 파악하고 사용자가 원하는 오브젝트만을 선별하여 포함시킨 사진을 실시간으로 촬영할 수 있다.According to the present invention, after taking a picture in a digital photographing device having a plurality of cameras, it is possible to grasp the outline of each object without a separate editing process and to take a picture in which only a desired object is selected and included in real time.

또한, 본 발명에 의하면 복수의 후방 카메라로 촬영되는 영상에서 배경 등 사용자가 원하지 않는 부분 영상을 소거하고 전방 카메라로 촬영한 전방 이미지에 합성한 사진을 실시간으로 촬영할 수 있다. In addition, according to the present invention, a part of the image captured by the plurality of rear cameras may be erased in real time.

또는, 사용자가 원하지 않는 부분의 영상을 소거한 상태로 저장하였다가 복수의 카메라 가운데 어느 하나를 이용한 촬영시, 기저장된 영상을 인출하여 실시간으로 합성하는 방식으로 촬영하는 것도 가능하다.Alternatively, the user may store an image of a portion which is not desired by the user in a state of being erased, and then take a pre-stored image by synthesizing the stored image in real time.

이때, 피사체의 얼굴을 인식하고 인식된 얼굴의 크기가 서로 유사하도록 크기를 자동으로 조정함으로써 이질감 없이 자연스러운 합성사진의 실시간 촬영이 가능해진다.At this time, by recognizing the face of the subject and automatically adjusts the sizes so that the size of the recognized faces are similar to each other, real-time shooting of natural composite pictures is possible without a sense of heterogeneity.

도 1은 본 발명의 일 실시예에 따른 디지털 촬영 장치의 구조를 설명하기 위한 블록도이다.
도 2는 본 발명의 일 실시예에 따른 디지털 촬영 장치의 카메라 구성을 설명하기 위한 도면이다.
도 3은 본 발명의 일 실시예에 따른 디지털 촬영 장치에서 실시간으로 영상을 합성하는 방법을 설명하기 위한 흐름도이다.
도 4는 본 발명의 일 실시예에 따른 디지털 촬영 장치의 동작을 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시예에 따라 화각이 동일한 2개의 카메라로 피사체들을 촬영한 영상을 설명하기 위한 도면이다.
도 6은 본 발명의 일 실시예에 따라 화각이 서로 다른 2개의 카메라로 피사체들을 촬영한 영상을 설명하기 위한 도면이다.
도 7은 본 발명의 일 실시예에 따른 사용자 인터페이스와 사용자가 원하는 부분 영상을 선택 또는 배제하는 화면을 예시한 것이다.
도 8은 본 발명의 일 실시예에 따라 촬영 영상을 선편집하는 화면을 예시한 것이다.
도 9는 본 발명의 일 실시예에 따라 전방 카메라를 포함하는 복수의 카메라로 사진을 촬영하는 동작을 설명하기 위한 도면이다.
도 10은 본 발명의 일 실시예에 따라 전방 카메라로 촬영한 영상과 후방 카메라로 촬영한 영상을 합성하는 화면을 예시한 것이다.
1 is a block diagram illustrating a structure of a digital photographing apparatus according to an exemplary embodiment of the present invention.
2 is a view for explaining the camera configuration of the digital photographing apparatus according to an embodiment of the present invention.
3 is a flowchart illustrating a method of synthesizing an image in real time in a digital photographing apparatus according to an embodiment of the present invention.
4 is a view for explaining the operation of the digital photographing apparatus according to an embodiment of the present invention.
5 is a diagram for describing an image of photographing subjects by two cameras having the same angle of view according to an exemplary embodiment of the present invention.
FIG. 6 is a diagram illustrating an image of photographing subjects by two cameras having different angles of view according to an exemplary embodiment of the present invention.
7 illustrates a screen for selecting or excluding a user interface and a partial image desired by a user according to an embodiment of the present invention.
8 illustrates a screen for pre-editing a captured image according to an embodiment of the present invention.
9 is a view for explaining an operation of taking a picture with a plurality of cameras including a front camera according to an embodiment of the present invention.
10 illustrates a screen for synthesizing an image photographed by a front camera and an image photographed by a rear camera according to an embodiment of the present invention.

본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 발명에 대해 구체적으로 설명하기로 한다. Terms used herein will be briefly described and the present invention will be described in detail.

본 발명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다. The terms used in the present invention have been selected as widely used general terms as possible in consideration of the functions in the present invention, but this may vary according to the intention or precedent of the person skilled in the art, the emergence of new technologies and the like. In addition, in certain cases, there is also a term arbitrarily selected by the applicant, in which case the meaning will be described in detail in the description of the invention. Therefore, the terms used in the present invention should be defined based on the meanings of the terms and the contents throughout the present invention, rather than the names of the simple terms.

명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에 기재된 "...수단", "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.When any part of the specification is to "include" any component, this means that it may further include other components, except to exclude other components unless otherwise stated. In addition, the terms "... means", "... unit", "module", etc. described in the specification mean a unit for processing at least one function or operation, which may be implemented in hardware or software, or hardware and software. It can be implemented as a combination of.

아래에서는 첨부한 도면을 참고하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.DETAILED DESCRIPTION Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings so that those skilled in the art may easily implement the present invention. As those skilled in the art would realize, the described embodiments may be modified in various different ways, all without departing from the spirit or scope of the present invention. In the drawings, parts irrelevant to the description are omitted in order to clearly describe the present invention, and like reference numerals designate like parts throughout the specification.

도 1은 본 발명의 일 실시예에 따른 디지털 촬영 장치의 구조를 설명하기 위한 블록도이다.1 is a block diagram illustrating a structure of a digital photographing apparatus according to an exemplary embodiment of the present invention.

도 1을 참조하면, 디지털 촬영 장치(100)는 카메라(110), 프로세서(120), 디스플레이(130) 및 메모리(140)를 포함할 수 있다.Referring to FIG. 1, the digital photographing apparatus 100 may include a camera 110, a processor 120, a display 130, and a memory 140.

디지털 촬영 장치(100)는 스마트 폰(smartphone), 태블릿 PC(tablet personal computer), 카메라(camera), 및 웨어러블 장치(wearable device) 등을 포함할 수 있다. 그러나, 디지털 촬영 장치(100)는 이에 한정되지 않고, 렌즈 및 이미지 센서를 포함하여 피사체를 촬영하여 이미지를 생성할 수 있는 장치라면 어느 것이든 포함할 수 있다The digital photographing apparatus 100 may include a smartphone, a tablet personal computer, a camera, and a wearable device. However, the digital photographing apparatus 100 is not limited thereto and may include any device capable of generating an image by photographing a subject including a lens and an image sensor.

카메라(110)는 복수의 카메라를 포함할 수 있다. 여기서 카메라는 적어도 하나의 렌즈 및 이미지 센서를 포함하고, 이미지 센서를 통해 이미지 신호를 획득하는 구성 요소를 말한다. 도 1에서는 3개의 카메라가 구비되는 것으로 도시되어 있으나 이에 한정되는 것은 아니며, 2개 또는 그 이상의 카메라가 구비된 디지털 촬영 장치에 본 발명의 영상 촬영 방법이 구현될 수 있다.The camera 110 may include a plurality of cameras. Here, the camera includes at least one lens and an image sensor, and refers to a component that acquires an image signal through the image sensor. Although FIG. 1 illustrates that three cameras are provided, the present invention is not limited thereto, and the image capturing method of the present invention may be implemented in a digital photographing apparatus equipped with two or more cameras.

일 실시예에서 카메라(110)는 후방 카메라인 제1 카메라(111) 및 제2 카메라(112)를 포함하며, 다른 실시예에서는 전방 카메라인 제3 카메라(113)를 추가로 포함할 수 있다. In one embodiment, the camera 110 may include a first camera 111 and a second camera 112, which are rear cameras, and may further include a third camera 113, which is a front camera, in another embodiment.

일 실시예에서 제1 카메라(111)와 제2 카메라(112)는 화각이 서로 다른 렌즈를 구비한 카메라일 수 있다. 예를 들어, 제1 카메라(111)는 광각 렌즈를 구비하여 주피사체를 포함하는 광각 영상을 획득할 수 있는 광각 카메라이고, 제2 카메라는 망원 렌즈를 구비한 망원 카메라일 수 있다. 다른 실시예에서 후방 카메라인 제1 카메라(111)와 제2 카메라(112)는 화각이 동일한 렌즈를 구비한 카메라일 수 있다. 또는, 제1 카메라(111)는 컬러 이미지를, 제2 카메라(112)는 흑백 이미지를 각각 촬영하는 카메라일 수도 있다.In an embodiment, the first camera 111 and the second camera 112 may be cameras having lenses having different angles of view. For example, the first camera 111 may be a wide angle camera having a wide angle lens to acquire a wide angle image including a main subject, and the second camera may be a telephoto camera having a telephoto lens. In another embodiment, the first camera 111 and the second camera 112, which are rear cameras, may be cameras having lenses having the same angle of view. Alternatively, the first camera 111 may be a color image, and the second camera 112 may be a camera that photographs a black and white image.

프로세서(120)는 프로세서(120)에 연결된 카메라(110), 디스플레이(130) 및 메모리(140) 등을 제어할 수 있고, 각종 데이터 처리 및 연산을 수행할 수 있다. 프로세서(120)는, 예를 들면, SoC(system on chip)로 구현될 수 있다. 프로세서(120)는 GPU(graphic processing unit) 및/또는 이미지 신호 프로세서(image signal processor)를 더 포함할 수 있다.The processor 120 may control the camera 110, the display 130, and the memory 140 connected to the processor 120, and may perform various data processing and operations. The processor 120 may be implemented with, for example, a system on chip (SoC). The processor 120 may further include a graphic processing unit (GPU) and / or an image signal processor.

프로세서(120)는 제1 카메라(111) 및 제2 카메라(112)를 통해 촬영되는 복수의 영상에 기초하여 영상에 포함되는 오브젝트들(피사체들)의 깊이 정보를 획득하고 이를 이용해 깊이맵(depth map)을 생성할 수 있다.The processor 120 acquires depth information of objects (subjects) included in the image based on the plurality of images captured by the first camera 111 and the second camera 112, and uses the depth map as a depth map. map).

또한, 프로세서(120)는 영상의 글로벌 모션 및 로컬 모션에 대한 정보를 획득할 수 있다. 이에 따라, 프로세서(120)는 영상 내에서 주피사체의 움직임 또는 손떨림에 따른 흔들림(blur)을 보정한 후에 깊이맵을 획득할 수 있다.In addition, the processor 120 may obtain information about a global motion and a local motion of the image. Accordingly, the processor 120 may acquire a depth map after correcting blur due to movement or hand movement of the main subject in the image.

프로세서(120)는 복수의 카메라(110)를 통해 촬영되는 영상들 중 하나를 주영상으로 결정하거나 복수의 영상들을 이용하여 생성한 영상을 주영상으로 결정하고, 상기에서 획득한 깊이맵에 기초하여 주영상을 구성하는 하나 이상의 부분 영상(각 오브젝트, 배경 등)을 구분하여 판별할 수 있다.The processor 120 determines one of the images captured by the plurality of cameras 110 as the main image or an image generated by using the plurality of images as the main image, and based on the obtained depth map. One or more partial images (each object, background, etc.) constituting the main image may be distinguished from each other.

프로세서(120)는 디스플레이(130)를 제어하여 주영상을 라이브뷰(live view) 영상으로 디스플레이할 수 있다. 또한, 프로세서(120)는 주영상을 구성하는 부분 영상들을 구분하고 사용자가 원하는 부분 영상을 선택하거나 삭제할 수 있도록 지원하는 사용자 인터페이스를 주영상 위에 중첩하여 디스플레이할 수 있다.The processor 120 may control the display 130 to display the main image as a live view image. In addition, the processor 120 may display a user interface superimposed on the main image to distinguish partial images constituting the main image and to select or delete a desired partial image.

메모리(140)는 내장 메모리 또는 외장 메모리를 포함할 수 있다. 메모리(140)는 프로세서(120)의 제어에 따라 주영상을 저장할 수 있는 저장부이며, 상기 사용자 인터페이스를 통해 선(先)편집된 영상을 촬영 버튼 클릭시 주영상으로 저장한다. 또한, 프로세서(120)의 제어에 따라 편집 후의 주영상에 더하여 오리지널 주영상을 레이어로 함께 저장할 수 있다.The memory 140 may include an internal memory or an external memory. The memory 140 is a storage unit capable of storing the main image under the control of the processor 120, and stores the pre-edited image as the main image when the photographing button is clicked through the user interface. In addition, under the control of the processor 120, the original main image may be stored together as a layer in addition to the edited main image.

프로세서(120)는 본 발명의 다양한 실시예에 따른 이미지 촬영 방법을 수행하기 위해 메모리(140)에 저장된 전용 애플리케이션을 실행할 수 있으며, 아래 도 2 내지 도 10을 참조하여 전용 애플리케이션이 수행하는 이미지 촬영 방법을 설명하기로 한다.The processor 120 may execute a dedicated application stored in the memory 140 to perform an image capturing method according to various embodiments of the present disclosure, and the image capturing method performed by the dedicated application with reference to FIGS. 2 to 10 below. Will be described.

도 2는 본 발명의 일 실시예에 따른 디지털 촬영 장치의 카메라 구성을 설명하기 위한 도면이다.2 is a view for explaining the camera configuration of the digital photographing apparatus according to an embodiment of the present invention.

도 2를 참조하면, 디지털 촬영 장치는 후면부에 2개의 후방 카메라(210, 220)를 구비하고 전면부에 1개의 전방 카메라(230)를 구비할 수 있으며, 프로세서가 실행하는 전용 애플리케이션의 제어에 따라 이들 카메라(210, 220, 230) 중 적어도 2개의 카메라가 촬영한 영상을 이용하여 사용자가 원하는 사진을 획득하도록 한다.Referring to FIG. 2, the digital photographing apparatus may include two rear cameras 210 and 220 on the rear side and one front camera 230 on the front side, under the control of a dedicated application executed by the processor. At least two cameras among the cameras 210, 220, and 230 may be used to acquire a picture desired by the user.

디지털 촬영 장치는 복수의 후방 카메라(210, 220)가 촬영한 영상에서 동일 객체의 좌표 차이를 이용하여 깊이(depth)를 판정하고 깊이에 따라 각 오브젝트와 배경을 나눈 다음, 촬영된 영상을 주영상으로 메모리에 저장하기 전에 사용자의 편집 입력을 수신하기 위한 사용자 인터페이스를 디스플레이하고 사용자의 의도에 따라 수정된 사진을 획득하도록 제어할 수 있다. The digital photographing apparatus determines the depth from the images captured by the plurality of rear cameras 210 and 220 by using the coordinate difference of the same object, divides each object and the background according to the depth, and then captures the captured image as the main image. As a result, a user interface for receiving a user's edit input may be displayed and stored to obtain a modified picture according to the user's intention before storing in the memory.

이때 배경이나 일부 오브젝트를 삭제한 이미지나 복수의 영상을 합성한 이미지를 실시간으로 사용자에게 보여준 후에 저장하므로, 별도의 후편집 과정 없이 배경을 없앤 사진이나 합성 사진을 실시간으로 촬영할 수 있다.In this case, the user deletes a background or some object or an image obtained by synthesizing a plurality of images in real time, and then stores the image in real time.

일 실시예에서, 디지털 촬영 장치는 복수의 후방 카메라(210, 220)를 통해 촬영된 영상에서 사용자 선택에 따라 배경이나 일부 오브젝트를 삭제하거나 기저장된 영상으로 대체할 수 있다. 이에 따라, 사용자는 배경이 없는 사진을 촬영하거나 자신이 선택한 오브젝트만 남겨 놓고 나머지 오브젝트는 지운 사진을 촬영할 수 있다. 또는, 사용자가 선택한 오브젝트에 기저장된 다른 배경 이미지와 실시간으로 합성한 사진을 획득할 수 있다.According to an embodiment, the digital photographing apparatus may delete a background or some object from the images photographed by the plurality of rear cameras 210 and 220 or replace the pre-stored image with some images. Accordingly, the user may take a picture without a background or leave only the object selected by the user, and take a picture erased from the remaining objects. Alternatively, the user may acquire a photo synthesized in real time with another background image previously stored in the object selected by the user.

일 실시예에서, 디지털 촬영 장치는 복수의 후방 카메라(210, 220)를 통해 촬영된 영상에서 사용자가 선택한 오브젝트만 포함되도록 선편집한 영상을 전방 카메라(230)를 통해 촬영한 영상과 실시간으로 합성할 수 있다.In one embodiment, the digital photographing apparatus synthesizes a pre-edited image of the image captured by the plurality of rear cameras 210 and 220 in real time with the image captured by the front camera 230 to include only the object selected by the user. can do.

도 3은 본 발명의 일 실시예에 따른 디지털 촬영 장치에서 실시간으로 영상을 촬영하는 방법을 설명하기 위한 흐름도이다.3 is a flowchart illustrating a method of capturing an image in real time in a digital photographing apparatus according to an embodiment of the present invention.

단계 S31에서는 복수의 카메라를 구비하는 디지털 촬영 장치의 사용자로부터 사진 촬영 요청이 수신된다. 사진 촬영 요청은 카메라 준비에 대응하며, 사용자가 카메라 아이콘을 선택하거나 전용 애플리케이션을 통해 사진 촬영을 준비하도록 요청하면, 복수의 후방 카메라로부터 각각 영상이 촬영된다. 복수의 후방 카메라를 통해 촬영되는 복수의 영상 중 하나 또는 복수의 영상을 기초로 생성된 영상이 주영상으로 결정되며 사용자의 입력에 따른 영상 합성을 위한 이하의 단계가 수행될 것이다.In step S31, a picture taking request is received from a user of a digital photographing apparatus including a plurality of cameras. The photographing request corresponds to camera preparation, and when a user selects a camera icon or requests to prepare for photographing through a dedicated application, images are respectively taken from the plurality of rear cameras. An image generated based on one or a plurality of images photographed by the plurality of rear cameras is determined as the main image, and the following steps for image synthesis according to a user's input will be performed.

단계 S32에서는, 복수의 카메라를 통해 촬영되는 복수의 영상을 분석하여 깊이맵을 생성한다. 스테레오 영상 및 히스토그램, 픽셀값, 기타 물리적 방법 등을 이용하여 피사체의 거리 정보를 검출하고 이를 이용하여 깊이맵을 생성할 수 있다. 깊이맵 영상은 두 시점 이상의 카메라를 이용해 획득하는 패시브 뎁쓰 센싱(passive depth sensing)과 스테레오 매칭(stereo matching)을 통해 획득할 수 있다.In step S32, a plurality of images captured by the plurality of cameras are analyzed to generate a depth map. The distance information of the subject may be detected using a stereo image, a histogram, pixel values, and other physical methods, and a depth map may be generated using the same. The depth map image may be obtained through passive depth sensing and stereo matching obtained using two or more cameras.

예컨대, 2개의 카메라로부터 획득되는 스테레오 영상을 이용하는 스테레오 매칭은, 제1 카메라로부터 주피사체를 포함하는 광각 영상을 획득하고 제2 카메라로부터 주피사체를 줌(zoom)한 망원 영상을 획득한다. 이들 광각 영상 및 망원 영상에 기초하여 주피사체의 거리 정보를 검출하고 거리 정보에 기초하여 깊이맵을 생성한다.For example, stereo matching using stereo images obtained from two cameras acquires a wide-angle image including a main subject from a first camera and a telephoto image obtained by zooming a main subject from a second camera. Based on these wide-angle images and telephoto images, distance information of the main subject is detected and a depth map is generated based on the distance information.

도 4는 본 발명의 일 실시예에 따른 디지털 촬영 장치의 동작을 설명하기 위한 도면이다.4 is a view for explaining the operation of the digital photographing apparatus according to an embodiment of the present invention.

도 4를 참조하면, 복수의 후방 카메라(410, 420)는 일정 간격 이격되어 있기 때문에 이들 카메라의 촬영 영상을 이용해 피사체(430)인 오브젝트들의 위치(거리)를 정확히 파악할 수 있게 된다.Referring to FIG. 4, since the plurality of rear cameras 410 and 420 are spaced apart at regular intervals, the positions (distances) of the objects that are the subjects 430 may be accurately determined using the captured images of the cameras.

단계 S33에서는, 깊이맵을 이용하여 전체 영상을 구성하는 하나 이상의 부분 영상을 판별한다. 부분 영상은 배경, 오브젝트(피사체) 등을 포함할 수 있다. 각 오브젝트나 배경의 구분은 기본적으로 깊이맵을 이용하여 수행될 수 있으나, 밝기값, 컬러값, 대비값(contrast), 네거티브 이미지(negative image) 및 흑백 이미지 정보 등을 보조 지표로 사용하여 정밀도를 높일 수 있다. 즉, 피사체와의 거리가 일정 거리 이상 서로 근접해 있어 외곽선 구분이 불분명한 경우, 색상 정보, 밝기 정보 등을 조합ㆍ이용하여 평면인 그래픽을 누끼로 추출할 수 있으며, 이때 발생되는 피사체 각각의 잡음을 제거(손실 보정)함으로써 각 오브젝트별 영상의 외곽 형태를 정확히 구분 지을 수 있게 된다.In step S33, one or more partial images constituting the entire image are determined using the depth map. The partial image may include a background, an object (subject), and the like. Separation of each object or background can be basically performed using the depth map, but precision can be obtained by using brightness, color, contrast, negative image and black and white image as secondary indicators. It can increase. That is, when the distance to the subject is close to each other by a certain distance or more, the distinction of the outline is unclear, and the flat graphic can be extracted by combining and using color information and brightness information, and the noise of each subject generated can be extracted. By eliminating (loss correction), it is possible to accurately distinguish the outline shape of each object image.

도 5는 본 발명의 일 실시예에 따라 화각이 동일한 2개의 카메라로 피사체들을 촬영한 영상을 설명하기 위한 도면이다.5 is a diagram for describing an image of photographing subjects by two cameras having the same angle of view according to an exemplary embodiment of the present invention.

좌우 이미지에서의 이격 거리 차이 비교를 통해 동일한 부분은 배경으로, 픽셀 차이가 근소한 것은 멀리 있는 오브젝트로, 픽셀 차이가 큰 것은 가까이 있는 오브젝트로 판정할 수 있다. 이때 픽셀 차이가 임계값 이내로 비슷한 것들은 분리 불가능하고 동일한 오브젝트로 판단할 수 있다.Through comparison of the separation distances in the left and right images, the same part may be determined as the background, the smallest pixel difference is a far object, and the large pixel difference is a close object. At this time, those with similar pixel differences within a threshold may be determined as inseparable and identical objects.

도 6은 본 발명의 일 실시예에 따라 화각이 서로 다른 2개의 카메라로 피사체들을 촬영한 영상을 설명하기 위한 도면이다.FIG. 6 is a diagram illustrating an image of photographing subjects by two cameras having different angles of view according to an exemplary embodiment of the present invention.

카메라들의 화각이 다른 경우는 각각의 영상을 비교하여 깊이맵을 생성하기 전에 광각으로 촬영한 영상을 다른 영상의 크기에 맞도록 크롭(crop)할 수 있다. 도 6을 참조하면, (a)의 영상은 광각 카메라를 통해 촬영한 것이므로 (b) 영상 내의 오브젝트와 크기가 동일해지도록 (a) 영상의 일부(600)를 크롭한 후에 크롭한 부분의 영상(600)과 (b) 영상을 비교 분석하여 깊이맵을 생성한다.If the cameras have different angles of view, the images taken at wide angles may be cropped to match the size of the other images before the respective images are compared and the depth map is generated. Referring to FIG. 6, since the image of (a) is captured by a wide-angle camera, (b) the cropped portion 600 of the image is cropped after the cropped portion 600 of the image to have the same size as the object in the image ( 600) and (b) compare and analyze the image to generate a depth map.

일 실시예에서, 본 발명의 영상 합성 방법을 수행하는 전용 애플리케이션은 카메라 렌즈의 기본 배열 방향 정보와, 사진 촬영시 세로로 찍었는지 가로로 찍었는지에 대한 정보를 수집한다. 카메라 렌즈는 통상 단말의 좌우로 배열되므로 디폴트 값으로 좌우로 배열되는 걸로 설정하고, 사진 촬영시 중력 센서에 의해 세로로 찍고 있는지 가로로 찍고 있는지에 따라 오브젝트간 이격 픽셀을 가로로 카운트할지, 세로로 카운트할지 결정할 수 있다.In an embodiment, the dedicated application for performing the image synthesizing method collects basic array direction information of the camera lens and information about whether the picture is taken vertically or horizontally when the picture is taken. Since the camera lens is normally arranged left and right of the terminal, it is set to be arranged left and right by default, and whether the object is counted horizontally or vertically by the gravity sensor when taking a picture vertically or horizontally by a gravity sensor. You can decide whether to count.

이와 같은 방법으로, 깊이(depth)에 따라 각 오브젝트의 윤곽을 구분하여 획득할 수 있으며, 배경 부분이 어디인지도 구분하여 획득할 수 있다. 이처럼 영상에서 구분된 각 오브젝트나 배경은 영상의 부분 영상들로서, 사용자에 의해 선택 또는 배제될 수 있다.In this way, the contour of each object can be obtained by dividing the object according to the depth, and the background part can be obtained by distinguishing it. As described above, each object or background separated from the image is a partial image of the image and may be selected or excluded by the user.

도 3의 단계 S34에서는, 디지털 촬영 장치의 화면에 디스플레이된 주영상 위에, 부분 영상들을 구분하고 선택할 수 있는 사용자 인터페이스를 표시한다. 이때 주영상과 그 위에 오버레이된 사용자 인터페이스는 라이브뷰 영상으로 디스플레이될 수 있다.In step S34 of FIG. 3, a user interface for distinguishing and selecting partial images is displayed on the main image displayed on the screen of the digital photographing apparatus. In this case, the main image and the user interface overlaid thereon may be displayed as a live view image.

사용자 인터페이스는 각 부분 영상의 윤곽선을 포함하고 사용자가 원하는 부분 영상을 선택(select) 또는 선택 배제(unselect)하였을 경우 사용자가 터치한 지점에 대응하는 오브젝트 또는 배경 전체가 윤곽선을 기준으로 선택 또는 선택 배제되어 소거되는 모습을 보여줄 것이다.The user interface includes an outline of each partial image and when the user selects or unselects a desired partial image, the entire object or background corresponding to the point touched by the user is selected or excluded based on the outline. Will be erased.

도 3의 단계 S35에서는, 상기 사용자 인터페이스를 통해 사용자로부터 편집 입력을 수신한다. 사용자는 주영상 위에 표시되는 배경과 오브젝트들 가운데 원하는 것을 하나 이상 선택 또는 선택 배제할 수 있으며, 사용자의 입력에 따라 실시간으로 부분 영상의 선택 또는 소거를 반영하여 화면의 이미지를 동적으로 변경한다. 즉, 본 발명에서는 주영상, 깊이맵, 윤곽선 영상, 누끼 영상, 누끼 영상의 합성 영상 등을 라이브뷰 영상으로 디스플레이할 수 있다.In step S35 of FIG. 3, an edit input is received from a user through the user interface. The user may select or exclude one or more of the desired background and objects displayed on the main image, and dynamically change the image on the screen by reflecting the selection or deletion of the partial image in real time according to a user's input. That is, in the present invention, the main image, the depth map, the contour image, the nucleus image, a composite image of the nucleus image, and the like may be displayed as a live view image.

한편, 사용자 인터페이스를 통해 선택된 복수의 부분 영상에서 피사체의 얼굴을 인식하고 인식된 얼굴의 크기가 서로 유사하도록 선택된 부분 영상들의 크기를 자동으로 조정하여 디스플레이할 수 있다. 예를 들어, 사용자가 사람의 모습과 레고 인형을 선택했는데 사람의 얼굴 크기와 레고 인형의 얼굴 크기가 다른 경우 레고 인형을 확대하거나 사람의 모습을 축소하여 두 피사체의 비율을 자동으로 맞춰줄 수 있다.Meanwhile, the plurality of partial images selected through the user interface may recognize the face of the subject and automatically adjust and display the selected partial images so that the sizes of the recognized faces are similar to each other. For example, if a user selects a person's figure and a Lego doll, but the person's face size is different from the Lego doll's face size, the Lego doll can be enlarged or the person's figure is automatically scaled to match the two subjects. .

도 7은 본 발명의 일 실시예에 따른 사용자 인터페이스와 사용자가 원하는 부분 영상을 선택 또는 배제하는 화면을 예시한 것이다.7 illustrates a screen for selecting or excluding a user interface and a partial image desired by a user according to an embodiment of the present invention.

도 7을 참조하면, 각 오브젝트의 윤곽선을 표시하여 사용자로 하여금 선택 가능한 부분 영상들(710, 720, 730, 740)을 구분할 수 있도록 하고 사용자의 터치 입력에 따라 원하는 오브젝트나 배경을 선택하거나 소거할 수 있는 사용자 인터페이스가 주영상 위에 표시된다. 이때, 각 오브젝트별로 색상이나 명암, 흐리기(blur) 적용여부를 달리하여 표시할 수도 있다.Referring to FIG. 7, an outline of each object is displayed to allow a user to distinguish selectable partial images 710, 720, 730, and 740, and to select or erase a desired object or background according to a user's touch input. User interface is displayed on the main image. In this case, each object may be displayed by differently applying color, contrast, and blur.

전용 애플리케이션은 소정의 오브젝트 위에서 제1 사용자 입력(예: 710 터치)을 수신하면 해당 오브젝트를 선택하여 최종 주영상에 포함되며, 소정의 오브젝트 위에서 제2 사용자 입력(예: 720 터치)을 수신하면 해당 오브젝트가 최종 주영상에 포함되며 나머지 오브젝트 및 배경은 삭제된다. 이때 사용자의 선택 및 선택 배제가 화면의 영상에 실시간으로 반영되어 선편집 상황을 사용자가 직관적으로 알 수 있도록 할 수 있다.When the dedicated application receives a first user input (for example, 710 touch) on a predetermined object, the corresponding application is selected and included in the final main image, and when a second user input (for example, 720 touch) is received on a predetermined object, the corresponding application is selected. The object is included in the final main image, and the remaining objects and background are deleted. At this time, the user's selection and selection exclusion can be reflected in real time on the screen image so that the user can intuitively know the pre-editing situation.

또한, 사용자 인터페이스는 사용자가 선택 배제한 부분 영상의 위치에 대신 합성할 이미지를 선택할 수 있는 리스트 영역(750)을 포함할 수 있다. 예를 들어, 사용자는 배경(740)을 소거하고 리스트 영역(750)에서 기저장된 이미지를 선택하여 배경(740) 부분에 대신 들어가도록 할 수 있다.In addition, the user interface may include a list area 750 through which a user may select an image to be synthesized instead of the location of the partial image that is not selected by the user. For example, the user may erase the background 740 and select a pre-stored image in the list area 750 to enter the background 740 instead.

도 8은 본 발명의 일 실시예에 따라 촬영 영상을 선편집하는 화면을 예시한 것이다.8 illustrates a screen for pre-editing a captured image according to an embodiment of the present invention.

사용자는 주영상에 오버레이되어 표시되는 사용자 인터페이스를 통해 오브젝트를 선택하고 이를 다른 위치에 이동 배치할 수 있다. 도 8의 (a)의 예에서 사용자가 오브젝트를 드래그앤드롭하는 입력으로 해당 오브젝트를 이동시켰음을 알 수 있다.The user may select an object through the user interface displayed on the main image and move it to another position. In the example of FIG. 8A, it can be seen that the user has moved the corresponding object by input of dragging and dropping the object.

사용자는 도 8의 (b)와 같이 소정의 입력을 통해 오브젝트의 크기를 확대 또는 축소하거나 회전시킬 수 있다.The user may enlarge, reduce or rotate the size of the object through a predetermined input as shown in (b) of FIG. 8.

사용자는 도 8의 (c)와 같이 배경 리스트에서 새로운 배경 이미지를 선택하여 (d)에 도시된 바와 같이 선택된 배경 이미지가 소거된 배경 대신 주영상에 합성되도록 할 수 있다. 즉, 누끼된 부분 영상을 미리 저장되어 있는 영상과 합성하여 사진 파일을 생성하고 저장할 수 있다. The user may select a new background image from the background list as shown in (c) of FIG. 8 so that the selected background image is synthesized with the main image instead of the erased background as shown in (d). That is, the photographed partial image may be synthesized with a previously stored image to generate and store a photo file.

사용자가 배경 이미지 대신 배경색, 그래픽 이미지 또는 패턴을 선택한 경우는 누끼된 부분 영상의 배경에 색을 입히거나, 그래픽 이미지나 패턴이 배경이 되는 합성 사진을 생성하여 저장한다. 또한, 사용자가 선택한 부분 영상의 흐리기(blur) 설정이 있는 경우는 해당 부분 영상의 흐리기가 조정된 합성 사진을 생성하여 저장함으로써 망원렌즈를 사용한 촬영 영상과 같이 아웃포커싱(Out of focus)이 된 사진 이미지를 획득할 수 있게 된다. 이때, 사용자는 선택한 배경 이미지의 흐리기 정도를 설정하거나, 모션 블러(motion blur), 레디얼 블러(radial blur) 등 적용할 흐리기 효과의 종류를 설정하여 원하는 아웃포커싱 효과를 얻을 수 있다. When the user selects a background color, a graphic image, or a pattern instead of a background image, the user colors the background of the partial image, or generates and stores a composite picture in which the graphic image or pattern is the background. In addition, if there is a blur setting of the partial image selected by the user, an out-focused photo such as a captured image using a telephoto lens is generated by generating and storing a composite image in which the blur of the partial image is adjusted. The image can be acquired. In this case, the user may set a blurring degree of the selected background image or set a type of blurring effect to be applied such as a motion blur or a radial blur to obtain a desired outfocusing effect.

도 3의 단계 S36에서는, 사용자의 사진 저장 요청을 수신한다. 사용자가 주영상과 각 부분 영상을 선택 또는 소거할 수 있는 사용자 인터페이스를 라이브뷰 형태로 표시한 화면에서 자신이 원하는 대로 선편집을 마치고 나면, 촬영 버튼을 누를 것이다. 촬영 버튼의 터치 또는 클릭은 사진 저장 요청에 해당한다.In step S36 of FIG. 3, a request for storing a picture of a user is received. After the user has finished editing the line as he or she wants in the Live View format, the user interface for selecting or erasing the main image and each sub-image will be pressed. Touching or clicking the shooting button corresponds to a request to save a picture.

도 3의 단계 S37에서는, 촬영 버튼의 선택에 대한 응답으로 촬영된 사진이 저장된다. 이때 저장되는 사진은 화면에 디스플레이되어 있는 영상으로, 단계 S35에서의 사용자의 편집 입력에 따라 주영상으로부터 배경 및 오브젝트들 중 일부 부분 영상을 삭제한 영상이며, 이 영상을 새로운 주영상으로 생성하여 메모리에 저장한다. 피사체의 크기가 자동 조정된 경우에는 조정 후의 영상이 저장될 것이다. 새로운 주영상은 PNG(Portable Network Graphics), PSD(Photoshop Document) 등의 이미지 파일 형식으로 저장될 수 있다. 또한, 편집되기 전의 오리지널 주영상을 레이어 형식으로 새로운 주영상과 함께 저장할 수 있다.In step S37 of FIG. 3, the photographed picture is stored in response to the selection of the photographing button. At this time, the stored picture is an image displayed on the screen, which is a part of the background image and some partial images of the object are deleted from the main image according to the user's edit input in step S35. Store in If the size of the subject is automatically adjusted, the image after the adjustment will be stored. The new main image may be stored in an image file format such as PNG (Portable Network Graphics) or PSD (Photoshop Document). In addition, the original main image before editing can be stored together with the new main image in a layer format.

이와 같이 본 발명의 일 실시예에 따르면 사진 촬영중 영상을 확인하여 배경을 없애거나 원하지 않는 오브젝트가 삭제된 사진을 실시간으로 촬영하여 저장하는 것이 가능하다.As described above, according to an exemplary embodiment of the present invention, it is possible to check an image while taking a picture, to remove a background, or to store and store a picture in which an unwanted object is deleted in real time.

추가적으로, 사진 촬영을 완료하여 저장한 후에도 배경이나 오브젝트를 선택하도록 할 수 있다. 상기와 같이 사용자에 의해 선택 배제된 부분 영상을 삭제한 사진(누끼 영상)을 저장부에 저장했다가, 추후 사용자의 요청이 있을 때 저장부로부터 독출하여 화면에 디스플레이하고, 사용자의 조작에 따라 복수의 카메라 중 하나로 촬영되는 영상을 화면에 디스플레이중인 누끼 영상의 배경 이미지로 합성한 사진을 획득할 수 있는 것이다.In addition, the background or the object may be selected even after the photographing is completed and saved. As described above, the photograph (Luki image) from which the partial image that has been excluded by the user is deleted is stored in the storage unit, and when there is a request from the user, the photograph is read out from the storage unit and displayed on the screen, and the plurality of images is displayed according to the user's operation. Photographed with one of the cameras of the background image of the nucleus image being displayed on the screen can be obtained.

도 9는 본 발명의 일 실시예에 따라 전방 카메라를 포함하는 복수의 카메라로 사진을 촬영하는 동작을 설명하기 위한 도면이다.9 is a view for explaining an operation of taking a picture with a plurality of cameras including a front camera according to an embodiment of the present invention.

도 9를 참조하면, 사용자(910)가 전용 애플리케이션을 실행하고 디지털 촬영 장치(900)의 후방 카메라들을 켜서 레고 캐릭터 인형 등을 포함하는 피사체들(920)을 보면서 원하는 오브젝트만 선택하여 촬영하고, 전방 카메라를 켜서 자기 모습을 촬영하면, 후방 카메라로 촬영한 이미지와 전방 카메라로 촬영한 사용자의 이미지를 합성할 수 있다. Referring to FIG. 9, the user 910 executes a dedicated application and turns on the rear cameras of the digital photographing apparatus 900 to look at the subjects 920 including a lego character doll, etc., and select and photograph only a desired object. When you take a picture of yourself by turning on the camera, you can composite the image taken by the rear camera and the user's image taken by the front camera.

전용 애플리케이션은 피사체들(920)을 촬영한 영상에서 사용자가 원하는 부분 영상만 선택하고 전방 카메라로 촬영한 자신의 사진을 오버레이한 영상을 화면에 디스플레이하는 사용자 인터페이스를 제공할 것이다. 사용자가 합성되는 이미지를 확인한 후 사진 저장 요청을 하면 합성된 이미지가 주영상으로 생성되어 저장될 것이다. 이에 따라 사용자는 전방 카메라로 촬영한 이미지에 전단계에서 준비한 배경없는 캐릭터 이미지를 합성한 이미지를 완성하여 촬영할 수 있다.The dedicated application will provide a user interface for selecting only a partial image desired by the user from the images of the subjects 920 and displaying an image overlaid on his screen taken by the front camera. When the user checks the image to be synthesized and requests to save the photo, the synthesized image will be generated and stored as the main image. Accordingly, the user may complete and capture an image obtained by synthesizing the backgroundless character image prepared in the previous step with the image captured by the front camera.

도 10은 본 발명의 일 실시예에 따라 전방 카메라로 촬영한 영상과 후방 카메라로 촬영한 영상을 합성하는 화면을 예시한 것이다.10 illustrates a screen for synthesizing an image photographed by a front camera and an image photographed by a rear camera according to an embodiment of the present invention.

도 10을 참조하면, 전용 애플리케션은 사용자가 후방 카메라로 촬영한 영상에서 사용자가 원하는 오브젝트만을 선택한 후에 전방 카메라를 켜서 자신의 사진을 촬영하도록 하면, (a)와 같이 사용자 이미지(1010)와 선택된 오브젝트 이미지(1020)가 함께 표시되는 라이브뷰를 보여준다. 사용자는 (a)의 화면에서 오브젝트(1020)의 크기를 수정하거나 위치를 이동시키는 편집을 할 수 있다.Referring to FIG. 10, when the user selects only a desired object from an image captured by the rear camera, the user turns on the front camera to take a picture of himself, as shown in (a). The live view in which the object image 1020 is displayed together is shown. The user may edit to modify the size or move the position of the object 1020 on the screen of (a).

도 10의 (b)에서와 같이 오브젝트 이미지(1020)의 크기를 원하는 대로 확대한 후에 촬영 버튼을 터치 또는 클릭하면 사용자 이미지(1010)와 오브젝트 이미지1020)가 함께 있는 사진이 생성되어 메모리에 저장될 것이다. 이때 전용 애플리케이션은 라이브뷰 방식으로 미리보기를 제공하기 때문에 사용자는 자신의 표정이나 모습을 바꾸어서 촬영할 수 있다.As shown in (b) of FIG. 10, when the size of the object image 1020 is enlarged as desired, a touch or click of a photographing button is generated to generate a picture in which the user image 1010 and the object image 1020 are together and stored in the memory. will be. In this case, the dedicated application provides a preview in a live view manner, so the user can change the look or the appearance of the image.

일 실시예에서, 사용자가 전방 카메라를 켜서 자기 얼굴을 촬영하면 전방 카메라와 후방 카메라가 촬영한 이미지의 방향이 반대이므로 전용 애플리케이션이 후방 이미지를 좌우 플립해줌으로써 사용자의 니즈에 맞는 최종 주영상을 획득할 수 있다.In one embodiment, when the user turns on the front camera and photographs his face, the direction of the images taken by the front and rear cameras is reversed, so that a dedicated application flips the rear image left and right to obtain a final main image that meets the user's needs. can do.

일 실시예에서, 전용 애플리케이션은 전방 카메라로 촬영한 피사체의 얼굴과 후방 카메라로 촬영한 피사체의 얼굴을 인식하고 양자의 비율을 자동으로 맞춰줄 수 있다. 도 10의 예에서와 같이 사용자가 레고 캐릭터 이미지(1020)의 크기를 자신의 얼굴 크기에 맞게 확대하지 않아도, 전용 애플리케이션이 사용자(1010)와 레고 캐릭터(1020)의 얼굴을 자동으로 인식하고 크기가 유사하도록 레고 캐릭터 이미지(1020)를 확대할 수 있다. 특히 전ㆍ후방 카메라의 렌즈 종류가 다르고 전ㆍ후방의 피사체 거리가 각각 다르기 때문에 얼굴의 크기가 서로 다르게 포착되지만, 전ㆍ후방으로 동시에 촬영되는 인물의 크기와 비례를 자동 조절하여 줌으로써 자연스러운 합성 촬영 이미지를 획득할 수 있게 된다.In one embodiment, the dedicated application may recognize the face of the subject photographed by the front camera and the face of the subject photographed by the rear camera and automatically adjust the ratio of both. As shown in the example of FIG. 10, even if the user does not enlarge the size of the LEGO character image 1020 to match his / her face size, the dedicated application automatically recognizes the faces of the user 1010 and the LEGO character 1020 and increases the size. The LEGO character image 1020 can be enlarged to be similar. In particular, because the front and rear cameras have different lens types, and the front and rear subject distances are different, the faces are captured differently. Can be obtained.

일 실시예에서, 전용 애플리케이션은 전방 이미지와 후방 이미지에 포함된 인물들의 어깨 위치 또는 코 높이 등을 기준으로 가로 세로 높이를 자동으로 맞춰줄 수 있다. 도 10에 도시된 것과 다르게 전방 카메라로 찍은 사용자(1010)의 얼굴 보다 후방 카메라로 찍은 레고 캐릭터(1020)의 얼굴이 위나 아래에 위치한 경우, 전용 애플리케이션은 레고 캐릭터(1020)의 얼굴이 사용자(1010)의 얼굴 옆에 위치하도록 이동시킬 것이다.In one embodiment, the dedicated application may automatically adjust the horizontal and vertical height based on the shoulder position or nose height of the persons included in the front image and the rear image. If the face of the LEGO character 1020 taken with the rear camera is located above or below the face of the user 1010 taken with the front camera, as shown in FIG. 10, the dedicated application may have a face of the user 1010. Will be positioned next to the face.

이때 전방 카메라와 후방 카메라를 함께 사용하지 않고, 이미 촬영ㆍ저장해 보유하고 있는 배경 없는 오브젝트(레고 캐릭터, 1020)의 누끼 사진 이미지를 디스플레이한 후 전방 카메라나 후방 카메라로 촬영할 경우, 누끼 오브젝트(1020)와 촬영 영상의 합성 이미지를 자연스럽고 즉각적으로 촬영할 수 있게 된다. 예를 들면, 배경이 없는 누끼 이미지의 오브젝트(예, 인물이나 캐릭터, 기물 등)를 디스플레이한 후 전방 카메라나 후방 카메라를 이용하여 오브젝트의 배경 이미지를 실시간 촬영함으로써 새로운 배경 이미지가 합성된 영상을 획득할 수 있게 된다. 즉, 오브젝트의 배경을 바꿔가면서 실시간 촬영을 할 수 있게 되므로 동일한 오브젝트에 각각 다른 배경 이미지가 합성된 이미지 사진을 손쉽게 만들 수 있게 된다. At this time, when using the front camera or the rear camera to display a photographic image of a backgroundless object (Lego character, 1020) that is already taken and stored without using the front camera and rear camera together, the photographic object 1020 is displayed. And the composite image of the captured video can be taken naturally and immediately. For example, after displaying an object (e.g., person, character, object, etc.) of a nook image without a background, the background image of the object is captured in real time using a front camera or a rear camera to acquire a new background image synthesized. You can do it. In other words, it is possible to shoot in real time while changing the background of the object, it is possible to easily create a picture of the image is composed of different background images on the same object.

일 실시예에서, 전용 애플리케이션은 전방 카메라로 촬영한 전방 이미지와 후방 카메라로 촬영한 후방 이미지가 각각 차지할 좌우 면적을 자동으로 조정할 수 있다. 예를 들어, 전방 이미지와 후방 이미지에 포함된 얼굴의 개수를 인식하고 각 이미지가 포함하고 있는 얼굴의 수에 비례하여 가로 방향으로 면적을 차지하도록 자동 조절할 수 있다. In one embodiment, the dedicated application may automatically adjust the left and right areas to be occupied by the front image captured by the front camera and the rear image captured by the rear camera, respectively. For example, the number of faces included in the front image and the rear image may be recognized and automatically adjusted to occupy an area in the horizontal direction in proportion to the number of faces included in each image.

상기의 실시예들은 둘 이상 결합되어 구현될 수도 있다. 예를 들어, 전용 애플리케이션이 전방 이미지에서 1개의 사용자 얼굴을 인식하고 후방 이미지에서 선택된 오브젝트들에 2개의 얼굴이 포함된다고 판단하는 경우, 전방 이미지에 화면 가로 면적의 1/3을 할당하고 후방 이미지에는 화면 가로 면적의 2/3를 할당하는 식으로 양 이미지를 합성하고, 전방 이미지의 얼굴 높이와 후방 이미지의 얼굴 높이가 유사하도록 후방 이미지의 위치를 수정한 결과를 화면에 보여줄 수 있다.The above embodiments may be implemented in combination of two or more. For example, if the dedicated application recognizes one user's face in the front image and determines that the objects selected in the rear image include two faces, it allocates 1/3 of the screen's horizontal area to the front image and The two images may be synthesized by allocating two thirds of the horizontal area of the screen, and the rear image position may be displayed on the screen so that the face height of the front image and the face height of the rear image are similar.

이처럼 상기의 실시예들은 실제의 모습을 있는 그대로 재현하는데 그치는 종래기술에 의한 카메라와는 달리, 사용자가 의도하거나 상상한 이미지와 현재의 실사 이미지가 결합된 새로운 이미지를 실시간으로 획득할 수 있도록 한다.As described above, the embodiments of the present invention allow the user to acquire in real time a new image combining an image intended or imagined by the user with the actual photorealistic image, unlike a camera of the related art, which merely reproduces the actual state as it is.

본 발명의 일 실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. Method according to an embodiment of the present invention is implemented in the form of program instructions that can be executed by various computer means may be recorded on a computer readable medium. The computer readable medium may include program instructions, data files, data structures, etc. alone or in combination. Program instructions recorded on the media may be those specially designed and constructed for the purposes of the present invention, or they may be of the kind well-known and available to those having skill in the computer software arts. Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks, and magnetic tape, optical media such as CD-ROMs, DVDs, and magnetic disks, such as floppy disks. Magneto-optical media, and hardware devices specifically configured to store and execute program instructions, such as ROM, RAM, flash memory, and the like. Examples of program instructions include not only machine code generated by a compiler, but also high-level language code that can be executed by a computer using an interpreter or the like.

이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속한다.Although the embodiments of the present invention have been described in detail above, the scope of the present invention is not limited thereto, and various modifications and improvements of those skilled in the art using the basic concepts of the present invention defined in the following claims are also provided. It belongs to the scope of rights.

100: 디지털 촬영 장치
110: 카메라 모듈
111: 제1 카메라(후방 카메라)
112: 제2 카메라(후방 카메라)
113: 제3 카메라(전방 카메라)
120: 프로세서
130: 디스플레이
140: 메모리
100: digital shooting device
110: camera module
111: first camera (rear camera)
112: second camera (rear camera)
113: third camera (front camera)
120: processor
130: display
140: memory

Claims (8)

카메라를 이용한 무배경 이미지 촬영과 이를 이용한 합성사진 촬영 방법에 있어서,
사용자로부터 사진 촬영이 요청되면, 복수의 카메라를 통해 촬영되는 복수의 영상을 분석하여 깊이맵을 생성하는 단계와;
상기 깊이맵을 이용하여 영상을 구성하는 하나 이상의 부분 영상을 판별하는 단계와;
상기 부분 영상을 선택할 수 있도록 지원하여 선택된 부분 영상이 삭제된 사진을 저장하는 단계;를 포함하며,

상기 깊이맵을 생성하는 단계에서,
단말의 적어도 2개의 후방 카메라로부터 획득된 영상으로부터 깊이맵을 생성하되,

상기 후방 카메라의 화각이 동일한 경우,
각 영상의 동일 오브젝트의 이격 거리 차이 비교를 통해 픽셀 차이가 설정값 미만인 경우에는 멀리 있는 오브젝트로 판정하며, 픽셀 차이가 설정값 이상인 경우에는 가까이 있는 오브젝트로 판정하고,

상기 후방 카메라의 화각이 다른 경우,
상기 서로 다른 화각을 갖는 카메라를 통해 촬영된 각 영상의 동일 오브젝트의 가로 또는 세로 크기가 동일해지도록 처리하되, 기준이 되는 카메라보다 상대적으로 광각인 카메라를 통해 촬영된 영상을 확대하여 상기 기준이 되는 카메라를 통해 촬영된 동일 오브젝트의 가로 또는 세로 크기와 동일해지도록 처리하며,
상기 기준이 되는 카메라를 통해 촬영된 영상과 상기 확대된 영상의 동일 오브젝트의 좌표 차이를 이용하여 깊이를 판정하는 것을 특징으로 하는 촬영 방법.
In the backgroundless image shooting using a camera and a method of taking a composite picture using the same,
Generating a depth map by analyzing a plurality of images photographed by a plurality of cameras when a photograph is requested from a user;
Determining at least one partial image constituting an image using the depth map;
And supporting the selection of the partial image to store a picture from which the selected partial image is deleted.

In generating the depth map,
A depth map is generated from images acquired from at least two rear cameras of the terminal,

When the angle of view of the rear camera is the same,
When the pixel difference is less than the set value, the object is determined to be far away through the comparison of the distance difference of the same object of each image.

If the angle of view of the rear camera is different,
The horizontal and vertical sizes of the same object of each image photographed by the cameras having different angles of view are processed to be the same, but the reference image is enlarged by expanding the image photographed by the camera having a relatively wide angle than the reference camera. To be equal to the horizontal or vertical size of the same object captured by the camera,
And a depth is determined using a coordinate difference between the same object of the image captured by the camera as the reference and the enlarged image.
제1항에 있어서,
상기 선택된 부분 영상이 삭제된 사진을 저장하는 단계는,
디지털 촬영 장치의 화면에 디스플레이된 주영상 위에, 상기 하나 이상의 부분 영상을 구분하여 선택할 수 있는 사용자 인터페이스를 라이브뷰 영상으로 디스플레이하는 단계와;
상기 사용자 인터페이스를 통한 사용자의 입력을 수신하는 단계와;
상기 사용자로부터 사진 저장이 요청되면, 상기 사용자 인터페이스를 통한 사용자의 입력에 따라 상기 주영상에서 선택 배제된 부분 영상을 삭제한 사진을 새로운 주영상으로 생성하여 저장부에 저장하는 단계;를 포함하는 것을 특징으로 하는 촬영 방법.
The method of claim 1,
The storing of the deleted picture of the selected partial image may include:
Displaying a user interface for classifying and selecting the one or more partial images as a live view image on the main image displayed on the screen of the digital photographing apparatus;
Receiving a user input via the user interface;
When the storage of the picture is requested from the user, generating a new main picture stored in the storage unit by deleting a partial image selected and excluded from the main image according to a user's input through the user interface; The shooting method characterized by the above.
제2항에 있어서,
상기 저장부에 저장하는 단계는,
상기 선택 배제된 부분 영상을 삭제한 사진과 상기 사용자에 의해 선택된 다른 영상을 합성한 사진을 주영상으로 저장하는 단계;를 포함하는 것을 특징으로 하는 촬영 방법.
The method of claim 2,
The storing in the storage unit,
And storing a photograph obtained by synthesizing the selected excluded partial image and another photograph selected by the user as a main image.
제2항에 있어서,
상기 저장부에 저장하는 단계는,
상기 선택 배제된 부분 영상을 삭제한 사진과 단말의 전방 카메라를 통해 촬영된 영상을 합성한 사진을 주영상으로 저장하는 단계;를 포함하는 것을 특징으로 하는 촬영 방법.
The method of claim 2,
The storing in the storage unit,
And storing a photograph obtained by deleting the selected partial image and a photograph obtained by synthesizing an image captured by the front camera of the terminal as a main image.
제2항에 있어서,
상기 저장부에 저장하는 단계는,
상기 사용자에 의해 선택되지 않은 부분 영상까지 포함하는 오리지널 주영상을 상기 새로운 주영상의 레이어로 함께 저장하는 단계;를 포함하는 것을 특징으로 하는 촬영 방법.
The method of claim 2,
The storing in the storage unit,
And storing the original main image including the partial image not selected by the user as a layer of the new main image.
제2항에 있어서,
상기 사용자에 의해 선택 배제된 부분 영상을 삭제한 사진을 상기 저장부로부터 독출하여 디스플레이하는 단계와;
상기 복수의 카메라 중 하나로 촬영되는 영상을 상기 디스플레이된 누끼 영상의 배경 이미지로 합성한 사진을 획득하는 단계;를 더 포함하는 것을 특징으로 하는 촬영 방법.
The method of claim 2,
Reading and displaying a picture from which the partial image selected and excluded by the user is deleted from the storage unit;
And acquiring a photograph obtained by synthesizing the image photographed by one of the plurality of cameras into a background image of the displayed nucleus image.
제2항에 있어서,
상기 사용자 인터페이스를 통해 선택된 복수의 부분 영상에서 피사체의 얼굴을 인식하고 인식된 얼굴의 크기가 서로 유사하도록 상기 선택된 부분 영상들의 크기를 자동으로 조정하는 단계;를 더 포함하는 것을 특징으로 하는 촬영 방법.
The method of claim 2,
And recognizing a face of a subject in the plurality of partial images selected through the user interface and automatically adjusting the sizes of the selected partial images so that the sizes of the recognized faces are similar to each other.
제1항 내지 제7항 중 어느 한 항의 카메라를 이용한 무배경 이미지 촬영과 이를 이용한 합성사진 촬영 방법을 수행하기 위해 기록매체에 기록된 컴퓨터 프로그램.A computer program recorded on a recording medium for performing a backgroundless image capturing using the camera of any one of claims 1 to 7, and a composite photographing method using the same.
KR1020190060751A 2019-05-23 2019-05-23 Method and computer program for photographing image without background and taking composite photograph using digital dual-camera KR102022559B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190060751A KR102022559B1 (en) 2019-05-23 2019-05-23 Method and computer program for photographing image without background and taking composite photograph using digital dual-camera

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190060751A KR102022559B1 (en) 2019-05-23 2019-05-23 Method and computer program for photographing image without background and taking composite photograph using digital dual-camera

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020180108385 Division 2018-09-11

Publications (1)

Publication Number Publication Date
KR102022559B1 true KR102022559B1 (en) 2019-09-18

Family

ID=68071067

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190060751A KR102022559B1 (en) 2019-05-23 2019-05-23 Method and computer program for photographing image without background and taking composite photograph using digital dual-camera

Country Status (1)

Country Link
KR (1) KR102022559B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210147843A (en) * 2020-05-29 2021-12-07 베이징 시아오미 모바일 소프트웨어 컴퍼니 리미티드 Method and apparatus for displaying an image, electronic device and computer-readable storage medium

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060070919A (en) * 2004-12-21 2006-06-26 엘지전자 주식회사 Panorama image display method for mobile communication terminal with dual camera system
KR20140142538A (en) * 2013-06-04 2014-12-12 삼성전자주식회사 Apparatas and method for editing of dual image in an electronic device
KR20160044316A (en) * 2014-10-15 2016-04-25 한국과학기술연구원 Device and method for tracking people based depth information

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060070919A (en) * 2004-12-21 2006-06-26 엘지전자 주식회사 Panorama image display method for mobile communication terminal with dual camera system
KR20140142538A (en) * 2013-06-04 2014-12-12 삼성전자주식회사 Apparatas and method for editing of dual image in an electronic device
KR20160044316A (en) * 2014-10-15 2016-04-25 한국과학기술연구원 Device and method for tracking people based depth information

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210147843A (en) * 2020-05-29 2021-12-07 베이징 시아오미 모바일 소프트웨어 컴퍼니 리미티드 Method and apparatus for displaying an image, electronic device and computer-readable storage medium
KR102557592B1 (en) * 2020-05-29 2023-07-20 베이징 시아오미 모바일 소프트웨어 컴퍼니 리미티드 Method and apparatus for displaying an image, electronic device and computer-readable storage medium

Similar Documents

Publication Publication Date Title
CN108764091B (en) Living body detection method and apparatus, electronic device, and storage medium
US11756223B2 (en) Depth-aware photo editing
EP3457683B1 (en) Dynamic generation of image of a scene based on removal of undesired object present in the scene
CN106664376B (en) Augmented reality device and method
EP3042356B1 (en) Interactive image composition
US9516214B2 (en) Information processing device and information processing method
CN106034206B (en) Electronic device and image display method
CN109934931B (en) Method and device for collecting image and establishing target object recognition model
CN103916587A (en) Photographing device for producing composite image and method using the same
KR102407190B1 (en) Image capture apparatus and method for operating the image capture apparatus
CN110321768A (en) For generating the arrangement of head related transfer function filter
CN103369238B (en) Image creating device and image creating method
CN112017137A (en) Image processing method, image processing device, electronic equipment and computer readable storage medium
CN111290659A (en) Writing board information recording method and system and writing board
JP2014050022A (en) Image processing device, imaging device, and program
CN113810627B (en) Video processing method, device, mobile terminal and readable storage medium
KR102022559B1 (en) Method and computer program for photographing image without background and taking composite photograph using digital dual-camera
Chang et al. Panoramic human structure maintenance based on invariant features of video frames
CN108282622B (en) Photo shooting method and device
US9374525B2 (en) Shooting apparatus and shooting method
WO2018192244A1 (en) Shooting guidance method for intelligent device
KR20210029905A (en) Method and computer program for remove photo background and taking composite photograph
CN114071009B (en) Shooting method and equipment
KR20200114170A (en) Method and computer program for photograph without background and taking composite photograph
US20220283698A1 (en) Method for operating an electronic device in order to browse through photos

Legal Events

Date Code Title Description
GRNT Written decision to grant
R401 Registration of restoration