KR20140122952A - 이미지 합성 방법 및 이를 구현하는 전자 장치 - Google Patents

이미지 합성 방법 및 이를 구현하는 전자 장치 Download PDF

Info

Publication number
KR20140122952A
KR20140122952A KR20130040062A KR20130040062A KR20140122952A KR 20140122952 A KR20140122952 A KR 20140122952A KR 20130040062 A KR20130040062 A KR 20130040062A KR 20130040062 A KR20130040062 A KR 20130040062A KR 20140122952 A KR20140122952 A KR 20140122952A
Authority
KR
South Korea
Prior art keywords
image
images
information
original
control unit
Prior art date
Application number
KR20130040062A
Other languages
English (en)
Inventor
임새미
강두석
정의창
최보근
황민경
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR20130040062A priority Critical patent/KR20140122952A/ko
Priority to EP20140162858 priority patent/EP2793170A3/en
Priority to US14/242,145 priority patent/US9852491B2/en
Priority to PCT/KR2014/002981 priority patent/WO2014168389A1/en
Priority to AU2014201995A priority patent/AU2014201995B2/en
Priority to CN201410142760.6A priority patent/CN104103085A/zh
Priority to JP2014080902A priority patent/JP2014207672A/ja
Publication of KR20140122952A publication Critical patent/KR20140122952A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/26—Techniques for post-processing, e.g. correcting the recognition result
    • G06V30/262—Techniques for post-processing, e.g. correcting the recognition result using context analysis, e.g. lexical, syntactic or semantic context
    • G06V30/274—Syntactic or semantic context, e.g. balancing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Analysing Materials By The Use Of Radiation (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명은 오브젝트가 프레임의 구획에 정확히 포함될 수 있도록 하는 이미지 합성 방법 및 이를 구현하는 전자 장치를 제안한다. 본 발명의 일 실시예에 따른 이미지 합성 방법은 원본 이미지의 선택을 검출하는 단계; 상기 원본 이미지에 태깅된 태그 정보에서 오브젝트의 위치 정보를 확인하는 단계; 상기 위치 정보를 이용하여 상기 오브젝트를 포함하는 타겟 이미지를 상기 원본 이미지에서 추출하는 단계; 및 상기 타겟 이미지를 프레임의 구획들 중 미리 지정된 맵핑된 구획에 표시하는 단계를 포함한다.

Description

이미지 합성 방법 및 이를 구현하는 전자 장치{METHOD FOR COMPOSING IMAGES AND ELECTRONIC DEVICE IMPLEMENTING THE SAME}
본 발명은 이미지 합성 방법에 관한 것으로 특히 이미지들을 하나로 합성하여 표시하는 방법 및 이를 구현하는 전자 장치에 관한 것이다.
현재 스마트폰 등과 같은 전자 장치는 이미지를 편집하는 기능을 제공할 수 있다. 예컨대, 전자 장치는 이미지를 자르고 이미지를 확대하거나 축소하고 이미지의 콘트라스트(contrast)를 조정하는 편집 기능을 제공할 수 있다. 또한 전자 장치는 다수의 구획들로 구성된 프레임(액자)을 제공할 수 있다. 전자 장치는 구획의 크기에 맞게 이미지에서 일부를 추출하고, 추출된 일부를 해당 구획에 표시한다. 또한 전자 장치는 구획들에 각각 이미지들로 채워진 프레임을 하나의 합성 이미지로 저장한다. 그런데, 오브젝트(예컨대, 얼굴)가 구획에 포함되지 않거나 일부만 포함되는 경우가 발생될 수 있다.
본 발명은 전술한 문제점을 해결하기 위해 안출된 것으로서, 오브젝트가 프레임의 구획에 정확히 포함될 수 있도록 하는 이미지 합성 방법 및 이를 구현하는 전자 장치를 제공함을 목적으로 한다.
본 발명의 일 실시예에 따른 이미지 합성 방법은 원본 이미지의 선택을 검출하는 단계; 상기 원본 이미지에 태깅된 태그 정보에서 오브젝트의 위치 정보를 확인하는 단계; 상기 위치 정보를 이용하여 상기 오브젝트를 포함하는 타겟 이미지를 상기 원본 이미지에서 추출하는 단계; 및 상기 타겟 이미지를 프레임의 구획들 중 미리 지정된 맵핑된 구획에 표시하는 단계를 포함한다.
본 발명의 다른 실시예에 따른 이미지 합성 방법은 이미지 폴더의 이미지들 중에서 원본 이미지들을 선택하는 단계; 상기 원본 이미지들에 각각 태깅된 태그 정보들에서 오브젝트들의 위치 정보들을 확인하는 단계; 상기 위치 정보들을 이용하여 상기 오브젝트들을 각각 포함하는 타겟 이미지들을 상기 원본 이미지들에서 추출하는 단계; 및 상기 이미지 폴더의 표지를 나타내는 매거진 뷰의 각 구획들에 상기 타겟 이미지들을 표시하는 단계를 포함한다.
본 발명의 또 다른 실시예에 따른 이미지 합성 방법은 원본 이미지들의 선택을 검출하는 단계; 상기 선택된 원본 이미지들과 동일한 개수의 구획들을 갖는 프레임들에 각각 대응되는 썸네일들을 표시하는 단계; 상기 썸네일들 중 하나의 선택을 검출하는 단계; 상기 원본 이미지들에 각각 태깅된 태그 정보들에서 오브젝트들의 위치 정보들을 확인하는 단계; 상기 위치 정보들을 이용하여 상기 오브젝트들을 각각 포함하는 타겟 이미지들을 상기 원본 이미지들에서 추출하는 단계; 및 상기 타겟 이미지들을 상기 선택된 썸네일에 해당되는 프레임의 구획들에 각각 표시하는 단계를 포함한다.
본 발명의 일 실시예에 따른 전자 장치는 표시부; 상기 표시부의 화면에 설치된 터치패널; 이미지들 및 이들에 각각 태깅된 태그 정보들을 저장하는 저장부; 및 상기 표시부, 상기 터치패널 및 상기 저장부를 제어하는 제어부를 포함하고, 상기 제어부는, 상기 터치패널로부터 원본 이미지의 선택을 검출하고, 상기 저장부에 액세스하여 상기 원본 이미지에 태깅된 태그 정보에서 오브젝트의 위치 정보를 확인하고, 상기 위치 정보를 이용하여 상기 오브젝트를 포함하는 타겟 이미지를 상기 원본 이미지에서 추출하고, 상기 타겟 이미지를 프레임의 구획들 중 미리 지정된 맵핑된 구획에 표시하도록 상기 표시부를 제어한다.
본 발명의 다른 실시예에 따른 전자 장치는 표시부; 이미지 폴더의 이미지들 및 이들에 각각 태깅된 태그 정보들을 저장하는 저장부; 및 상기 표시부 및 상기 저장부를 제어하는 제어부를 포함하고, 상기 제어부는, 상기 이미지 폴더의 이미지들 중에서 원본 이미지들을 선택하고, 상기 원본 이미지들에 각각 태깅된 태그 정보들에서 오브젝트들의 위치 정보들을 확인하고, 상기 위치 정보들을 이용하여 상기 오브젝트들을 각각 포함하는 타겟 이미지들을 상기 원본 이미지들에서 추출하고, 상기 이미지 폴더의 표지를 나타내는 매거진 뷰의 각 구획들에 상기 타겟 이미지들을 표시하도록 제어한다.
본 발명의 또 다른 실시예에 따른 전자 장치는 표시부; 상기 표시부의 화면에 설치된 터치패널; 이미지들 및 이들에 각각 태깅된 태그 정보들을 저장하는 저장부; 및 상기 표시부, 상기 터치패널 및 상기 저장부를 제어하는 제어부를 포함하고, 상기 제어부는, 상기 터치패널로부터 원본 이미지들의 선택을 검출하고, 상기 선택된 원본 이미지들과 동일한 개수의 구획들을 갖는 프레임들에 각각 대응되는 썸네일들을 표시하도록 제어하고, 상기 터치패널로부터 상기 썸네일들 중 하나의 선택을 검출하고, 상기 원본 이미지들에 각각 태깅된 태그 정보들에서 오브젝트들의 위치 정보들을 확인하고, 상기 위치 정보들을 이용하여 상기 오브젝트들을 각각 포함하는 타겟 이미지들을 상기 원본 이미지들에서 추출하고, 상기 타겟 이미지들을 상기 선택된 썸네일에 해당되는 프레임의 구획들에 각각 표시하도록 제어한다.
이상으로 본 발명의 이미지 합성 방법 및 전자 장치는 오브젝트가 프레임의 구획에 정확히 포함될 수 있도록 한다.
도 1a 및 도 1b는 태그 정보의 생성 방법의 일례를 설명하기 위한 도면들이다.
도 2는 본 발명의 일 실시예에 따른 휴대 단말의 블록 구성도이다.
도 3은 본 발명의 일 실시예에 따른 이미지 합성 방법을 설명하기 위한 흐름도이다.
도 4는 이미지 선택 방법의 일례를 설명하기 위한 도면이다.
도 5a는 프레임 선택 방법의 일례를 설명하기 위한 도면이다. 도 5b는 이미지와 프레임의 구획을 맴핑하는 방법의 이례를 설명하기 위한 도면이다. 도 5c는 오브젝트와 구획을 맴핑하는 방법의 일례를 설명하기 위한 도면이다. 도 5d는 타겟 이미지의 추출 방법의 일례를 설명하기 위한 도면이다. 도 5e는 타겟 이미지의 추출 방법의 다른 예를 설명하기 위한 도면이다. 도 5f는 타겟 이미지들로 채워진 프레임을 도시한 도면이다.
도 6은 본 발명의 일 실시예에 따른 원본 이미지에서 타겟 이미지를 추출하는 방법을 설명하기 위한 흐름도이다.
도 7 및 도 8은 타겟 이미지를 해당 구획에 맞게 축소하는 방법의 일례를 설명하기 위한 도면들이다.
도 9a 및 도 9b는 타겟 이미지의 영역을 계산하는 방법의 일례를 설명하기 위한 도면들이다.
도 10a 및 도 10b는 타겟 이미지를 해당 구획에 맞게 확대하는 방법의 일례를 설명하기 위한 도면들이다.
도 11은 본 발명의 다른 실시예에 따른 이미지 합성 방법을 설명하기 위한 흐름도이다.
도 12는 본 발명의 일 실시예에 따른 매거진 뷰를 도시한 도면이다.
도 13은 본 발명의 다른 실시예에 따른 원본 이미지에서 타겟 이미지를 추출하는 방법을 설명하기 위한 흐름도이다.
도 14a 내지 도 14c는 타겟 이미지의 영역을 계산하는 방법의 다른 예를 설명하기 위한 도면들이다.
도 15a, 도 15b 및 도 15c는 본 발명의 일 실시예에 따른 타일 뷰를 도시한 도면들이다.
이하에서 본 발명에 따른 이미지 합성 방법 및 전자 장치에 대해 상세히 설명한다. 이하에서 사용되는 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야 한다. 따라서 아래 설명과 첨부된 도면은 본 발명의 바람직한 실시예에 불과할 뿐이고, 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원 시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형 예들이 있을 수 있다. 또한, 첨부 도면에서 일부 구성요소는 과장되거나 생략되거나 또는 개략적으로 도시되었으며, 각 구성요소의 크기는 실제 크기를 전적으로 반영하는 것이 아니다. 따라서 본 발명은 첨부한 도면에 그려진 상대적인 크기나 간격에 의해 제한되지 않는다. 본 발명과 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명은 생략된다.
본 발명에서 전자 장치는 이미지들을 하나로 합성하여 표시하는 것으로써, 예컨대, 스마트폰, 태블릿 PC, 노트북 PC, 디지털 카메라, PDA(Personal Digital Assistant), 전자수첩, 데스크탑 PC, PMP(Portable Multimedia Player), 미디어 플레이어(Media Player)(예컨대, MP3 플레이어), 휴대게임단말, 표시부를 가지는 가전기기(예, 냉장고, TV, 세탁기) 등이다.
본 발명에서 원본 이미지는 편집의 대상이 되는 이미지이다. 원본 이미지의 파일 형식(file format)은 예컨대, TIFF(Tagged Image File Format)나 JPEG이다. 본 발명에서 타겟 이미지는 프레임의 구획에 위치하게 되는 이미지를 의미한다. 타겟 이미지는 원본 이미지의 일부이다. 물론, 원본 이미지 자체가 타겟일 수도 있다. 특히 타겟 이미지는 오브젝트(예, 인물, 사물 등)를 포함한다. 여기서 "프레임"은 매거진 뷰, 표지, 타일 뷰(Tile view), 다각형 기반 꾸미기 틀 등으로 지칭될 수 있다. 특히 프레임은, 해당 합성 이미지가 이미지 폴더를 대표하는 이미지로 사용되는 경우, 매거진 뷰나 표지로 지칭될 수 있다.
본 발명의 전자 장치는 오브젝트가 포함된 타겟 이미지를 원본 이미지에서 추출하기 위해, 태그 정보를 이용할 수 있다. 태그 정보는 이미지와 관련된 부가 정보를 의미하며, 그 파일 형식은 예컨대, 교환이미지 파일 형식(exchangeable image file format; Exif)이다. 예컨대, 태그 정보는 오브젝트의 위치 정보(예컨대, 모서리의 XY 좌표)와 오브젝트의 식별 정보(예컨대, 인물의 이름, 주소 및 전화 번호, 사물의 명칭 등)를 포함할 수 있다. 이외에도 태그 정보는 해당 이미지를 촬영한 카메라의 제조사(Maker), 카메라 모델(Model) 명칭, 이미지 에디터(Software)의 정보, 사진을 보정한 날짜(Datetime), Exif 버전(Exif Version), 해당 이미지를 촬영한 날짜(Shoot Datetime), 콘트라스트, 해상도, 웹에 업로드된 해당 이미지의 실제 크기(Image Size), 노출 시간(Exposure Time:셔터 스피드), 촬영 프로그램(Exposure Program), 렌즈 초점 길이(Focal Length), 조리개 개방 수치(F-Number), 위치 정보(예, GPS 정보), 플래시 사용 여부 등을 더 포함한다.
본 발명의 전자 장치는 주지된 다양한 이미지 인식 기법들을 이용하여, 이미지에 대해 다양한 정보를 태깅(tagging)할 수 있다. 즉 전자 장치는 이미지와 관련한 태그 정보를 생성할 수 있다. 태그 정보의 생성 방법의 일례는 다음과 같다.
전자 장치는 이미지에서 오브젝트를 인식한다. 여기서, 이미지는 전자 장치에 저장되어 있는 이미지이거나, 카메라에 의해 촬영된 이미지이거나, 네트워크를 통해 외부 장치(예, 웹 서버)로부터 수신한 이미지이거나, 여러 이미지가 합성된 이미지일 수 있다. 전자 장치는 예컨대, 카메라의 셔터 이벤트에 응답하여 오브젝트의 인식을 시작할 수 있다. 또한 전자 장치는 외부로부터 이미지의 수신에 응답하여 오브젝트의 인식을 시작할 수 도 있다. 오브젝트의 인식에는 주지되어 있는 다양한 인식 기법이 이용될 수 있다. 인물 인식에는 인물의 얼굴, 반신, 전신 또는 자세를 인식하는 다양한 기법들이 이용될 수 있다. 그리고 이러한 인물 인식 기법에는 주소록, 소셜 네트워크(social network) 관련 어플리케이션 등이 이용될 수 있다. 예를 들어, 주소록이나 어플리케이션의 친구 목록에 등록된 인물의 사진이 인물 인식에 이용된다. 사물 인식에는 위치 정보(예, GPS(Global Positioning System) 정보 및 맵(map) 정보)를 기반으로 한 다양한 기법들이 이용될 수 있다.
전자장치는 오브젝트의 위치 정보를 생성한다. 여기서 위치 정보는 해당 이미지에서 오브젝트가 어느 영역에 위치하는지를 나타내는 정보를 포함한다. 전자 장치는 위치 정보를 태그 정보로서 이미지에 태깅한다. 태그 정보는 이미지에 결합되어 저장될 수도 있고 별도로 저장될 수도 있다.
도 1a 및 도 1b는 태그 정보의 생성 방법의 일례를 설명하기 위한 도면들이다.
도 1a 및 도 1b를 참조하면, 전자 장치는 이미지에 포함된 오브젝트를 인식한다. 예를 들어, 하나의 이미지에서 두 개의 오브젝트들(110, 120)이 인식된 경우가 도시되었다. 오브젝트(110, 120)들이 인식되면, 전자 장치는 오브젝트들(110, 120)의 각각의 위치정보들(130)을 생성한다.
일례로, 오브젝트의 위치정보는 도 1a에 도시된 바와 같이, 해당 오브젝트를 포함하는 직사각형에서 좌상귀 좌표와 우하귀 좌표를 포함한다. 예컨대, 좌상귀 좌표는, 제 1 오브젝트(110)의 경우 (x1, y1)이고, 제 2 오브젝트(120)의 경우 (x3, y3)이다. 우하귀 좌표는, 제 1 오브젝트(110)의 경우 (x2, y2)이고, 제 2 오브젝트(120)의 경우 (x4, y4)이다.
다른 예로, 오브젝트의 위치정보는 도 1b에 도시된 바와 같이, 해당 오브젝트를 포함하는 직사각형에서 네 귀퉁이 중 하나의 좌표와, 이를 기준으로 한 폭(X축 길이)과 높이(Y축 길이)를 포함한다. 예컨대, 제 1 오브젝트(110)의 위치정보는 (x1, y1), 좌우 길이 α1 및 상하 길이 β1을 포함한다. 제 2 오브젝트(120)의 위치정보는 (x3, y3), 좌우 길이 α2 및 상하 길이 β2을 포함한다.
위치정보는 위의 실시예들로 한정되는 것은 아니다. 또 다른 예로, 위치정보는 해당 오브젝트와 배경의 경계를 나타내는 좌표들을 포함할 수도 있다.
각 오브젝트들(110, 120)의 위치정보들이 결정되면, 전자 장치는 위치 정보들을 태그 정보로써 해당 이미지에 태깅한다. 또한 전자 장치는 주지되어 있는 인식 기법을 이용하여 각 오브젝트들(110, 120)의 명칭을 생성하고, 이를 태그 정보로써 해당 이미지에 태깅한다. 전자 장치는 위치 정보 및 명칭 외에도 다양한 정보를 태그 정보로써 해당 이미지에 태깅할 수 있다.
도 2는 본 발명의 일 실시예에 따른 휴대 단말의 블록 구성도이다.
도 2를 참조하면, 본 발명의 일 실시예에 따른 휴대 단말(200)은 표시부(210), 키입력부(220), 저장부(230), 무선통신부(240), 오디오처리부(250), 스피커(SPK), 마이크(MIC), 카메라(260), GPS 수신부(270) 및 제어부(280)를 포함하여 이루어진다.
표시부(210)는 제어부(280)의 제어 하에 데이터(예, 이미지)를 화면에 표시한다. 즉 제어부(280)가 데이터를 처리(예컨대, 디코딩(decoding))하여 버퍼에 저장하면, 표시부(210)는 버퍼에 저장된 데이터를 아날로그 신호로 변환하여 화면에 표시한다. 표시부(210)에 전원이 공급되면, 표시부(210)는 잠금 이미지를 화면에 표시한다. 잠금 이미지가 표시되고 있는 상태에서 잠금 해제 정보가 검출되면, 제어부(280)는 잠금을 해제한다. 표시부(210)는 제어부(280)의 제어 하에 잠금 이미지 대신 예컨대, 홈 이미지를 표시한다. 홈 이미지는 배경(background) 이미지(예컨대, 사용자에 의해 설정된 사진)와 이 위에 표시되는 다수의 아이콘을 포함한다. 여기서 아이콘들은 각각 어플리케이션 또는 콘텐츠(예, 사진, 비디오, 음성 파일, 문서, 메시지 등)를 지시한다. 아이콘들 중 하나 예컨대, 어플리케이션 아이콘이 사용자에 의해 선택되면, 제어부(280)는 해당 어플리케이션을 실행한다. 여기서, 홈 이미지는 홈 스크린(화면)으로 지칭될 수도 있다. 또한, 잠금 이미지는 잠금 스크린(화면)으로 지칭될 수도 있다.
표시부(210)는 제어부(280)로부터 어플리케이션의 실행 이미지를 수신하고 아날로그 신호로 변환하여 출력한다.
표시부(210)는 제어부(280)의 제어 하에, 이미지들을 다층(multi-layer) 구조로 화면에 표시한다. 예컨대, 표시부(210)는 사진을 화면에 표시하고, 태그 정보를 그 위에 표시한다.
표시부(210)는 액정 표시 장치(Liquid Crystal Display : LCD), AMOLED(Active Matrix Organic Light Emitted Diode), 플랙서블 디스플레이(Flexible display) 또는 투명 디스플레이로 이루어질 수 있다.
터치패널(211)은 표시부(210)의 화면에 설치된다. 구체적으로 터치패널(211)은 표시부(210)의 화면에 위치하는 애드 온 타입(add-on type)이나 표시부(210) 내에 삽입되는 온 셀 타입(on-cell type) 또는 인 셀 타입(in-cell type)으로 구현된다.
터치패널(211)은 화면에 대한 사용자의 제스처에 응답하여 터치이벤트를 발생하고, 터치이벤트를 AD(Analog to Digital) 변환하여 제어부(280)로 전달한다. 여기서 터치이벤트는 하나 이상의 터치 좌표(x, y)를 포함한다. 예컨대, 터치패널(211)의 터치 IC(Integrated Circuit)는 사용자의 터치를 검출하고, 터치에 응답하여 터치 영역을 결정하고, 터치 영역에 포함된 터치 좌표(x, y)를 제어부(280)로 전달한다. 여기서 터치 좌표는 픽셀 단위일 수 있다. 예컨대, 화면의 해상도가 640(가로 픽셀의 개수)*480(세로 픽셀의 개수)인 경우, X축 좌표는 (0, 640)이고, Y축 좌표는 (0, 480)이다. 제어부(280)는 터치패널(211)로부터 터치 좌표가 수신될 경우, 터치입력기구(예, 손가락이나 펜)가 터치패널(211)에 터치된 것으로 결정하고 터치패널(211)로부터 터치 좌표가 수신되지 않을 경우 터치입력기구의 터치가 해제된 것으로 결정한다. 또한 제어부(280)는 터치된 좌표가 예컨대, (x0, y0)에서 (x1, y2)로 변화되고, 그 변화량(예컨대, D(D2 = (x0 - x1)2 + (y0 - y1)2)가 미리 설정된 "이동 임계치(예컨대, 1밀리미터)"를 초과할 경우 제어부(280)는 터치입력기구의 움직임이 발생된 것으로 결정한다. 제어부(280)는 터치입력기구의 이동에 응답하여 터치입력기구의 위치변화량(dx, dy) 및 터치입력기구의 이동 속도 등을 산출한다. 제어부(280)는 터치 좌표, 터치입력기구의 터치 해제 여부, 터치입력기구의 이동 여부, 터치입력기구의 위치변화량 및 터치입력기구의 이동 속도 등을 기반으로, 화면에 대한 사용자의 제스처를 터치, 멀티 터치, 탭(Tap), 더블 탭(Double Tap), 롱 탭(Long tap), 탭 앤 터치(Tap & touch), 드래그(Drag), 플릭(Flick), 프레스(Press), 핀치인(pinch in) 및 핀치아웃(pinch out) 등 중에서 어느 하나로 결정한다.
터치는 사용자가 터치입력기구를 화면에 접촉하는 제스처이고, 멀티 터치는 다수의 터치입력기구(예, 엄지와 검지)를 화면에 접촉하는 제스처이고, 탭은 화면의 어느 한 지점에 터치입력기구가 터치된 후 이동 없이 해당 지점에서 터치 해제(touch-off)되는 제스처이고, 더블 탭은 어느 한 지점을 연속적으로 두 번 탭하는 제스처이고, 롱 탭은 탭보다 상대적으로 길게 터치한 후 터치입력기구의 이동 없이 해당 지점에서 터치입력기구의 터치를 해제하는 제스처이고, 탭 앤 터치는 화면의 어느 지점을 탭한 후 해당 지점을 소정 시간(예, 0.5초)이내에 다시 터치하는 제스처이고, 드래그는 어느 한 지점을 터치한 상태에서 터치입력기구를 소정 방향으로 이동시키는 제스처이고, 플릭은 드래그에 비해 터치 기구를 빠르게 이동시킨 후 터치 해제하는 제스처이고, 프레스는 어느 한 지점을 터치한 후 소정 시간(예, 2초)이상 움직임 없이 터치를 유지하는 제스처이고, 핀치 인은 두 개의 터치입력기구로 두 지점을 동시에 멀티 터치한 후 터치 기구들의 간격을 좁히는 제스처이고, 핀치 아웃은 터치입력기구들의 간격을 넓히는 제스처이다. 즉 터치는 터치패널(211)에 접촉(contact)한 것을 의미하고, 그 밖의 제스처들은 터치의 변화를 의미한다.
터치패널(211)은 손 제스처를 감지하는 손 터치패널과 펜 제스처를 감지하는 펜 터치패널을 포함하여 구성된 복합 터치패널일 수 있다. 여기서 손 터치패널은 정전용량 방식(capacitive type)으로 구현된다. 물론 손 터치패널은 저항막 방식(resistive type), 적외선 방식 또는 초음파 방식으로 구현될 수도 있다. 또한 손 터치패널은 손 제스처에 의해서만 터치이벤트를 발생하는 것은 아니며, 다른 물체(예, 정전용량 변화를 가할 수 있는 전도성 재질의 물체)에 의해서도 터치이벤트를 생성할 수 있다. 펜 터치패널은 전자 유도 방식(electromagnetic induction type)으로 구성될 수 있다. 이에 따라 펜 터치패널은 자기장을 형성할 수 있도록 특수 제작된 터치용 펜에 의해 터치이벤트를 생성한다. 특히, 펜 터치패널에서 생성되는 터치이벤트는 터치좌표와 함께, 터치의 종류를 나타내는 값을 포함한다. 예컨대, 제어부(280)는 펜 터치패널로부터 제 1 전압레벨 값이 수신된 경우, 터치입력기구의 터치를 간접터치(일명, 호버링(hovering))로 결정한다. 제어부(280)는 터치패널(211)로부터 제 1 전압레벨보다 큰 제 2 전압레벨 값이 수신된 경우, 터치입력기구의 터치를 직접터치로 결정한다. 또한 펜 터치패널에서 생성되는 터치이벤트는 펜에 설치된 키의 눌림 여부를 나타내는 값을 더 포함할 수 있다. 예컨대, 펜에 설치된 키가 눌리면, 펜의 코일에서 발생되는 자기장이 변화되고, 자기장의 변화에 응답하여 펜 터치패널은 제 3 전압레벨 값을 발생하고, 이를 제어부(280)로 전달한다.
키입력부(220)는 적어도 하나의 터치키를 포함할 수 있다. 터치키는 사용자의 터치를 감지하기 위해 정전용량 방식이나 저항막 방식 등으로 구현된다. 터치키는 사용자의 터치에 응답하여 이벤트를 발생하고, 이를 제어부(280)로 전달한다. 또한 터치키는 화면에 인접하게(예컨대, 화면의 하단) 설치될 수 있다. 예컨대, 제어부(280)는 제 1 터치키(메뉴 불러오기 키)의 이벤트에 응답하여 메뉴를 화면의 하단에 표시하도록 표시부(210)를 제어한다. 또한 제어부(280)는 제 2 터치키(되돌리기 키)의 이벤트에 응답하여 이전 이미지를 표시하도록 표시부(210)를 제어한다. 예컨대, 사진 위에 태그 정보가 표시되고 있는 상태에서 2 터치키 이벤트가 발생되면, 태그 정보의 표시는 종료되고 사진만 표시된다.
또한 키입력부(220)는 터치 방식 외에 다른 방식의 키를 더 포함하여 이루어질 수 있다. 예컨대, 키입력부(220)는 적어도 하나의 돔(dome) 키를 포함하여 이루어질 수 있다. 사용자가 돔 키를 내리누르면, 돔 키가 변형되어 인쇄회로기판에 접촉되고, 이에 따라 인쇄회로기판에서 키 이벤트가 발생되어 제어부(280)로 전달된다. 이러한 돔 키는 휴대 단말(200)의 측면에 설치될 수도 있고 화면에 인접하게(예컨대, 화면의 하단) 설치될 수도 있다. 이러한 키 이벤트는 전원 온/오프 이벤트, 볼륨 조절 이벤트, 화면 온/오프 이벤트 또는 셔터 이벤트 등이다. 제어부(280)는 이러한 키 이벤트에 응답하여 상기한 구성들을 제어한다. 한편 키입력부(220)의 키는 하드 키(hard key)라 하고 표시부(210)에 표시되는 가상의 키는 소프트 키(soft key)로 지칭될 수 있다.
저장부(secondary memory unit; 230)는 디스크, 램(RAM), 롬(ROM) 또는 플래시 메모리 등으로 구성된다. 저장부(230)는 제어부(280)의 제어 하에, 휴대 단말(200)에서 생성되거나 무선통신부(240)를 통해 외부장치(예, 서버, 데스크탑 PC, 태블릿 PC 등)로부터 수신한 데이터를 저장한다. 예컨대, 저장부(230)는 연락처 정보들(231­_1 내지 231_N), 이미지들(232_1 내지 232_N), 지도(map) 정보(233) 및 우선순위 정보(234)를 저장한다. 연락처 정보들(231_1 내지 231_N)은 각각, 이름, 주소, 이메일, 프로필 사진, 취미, 사용자와의 관계(예컨대, 친구, 가족, 회사 등), 전화 번호 등을 포함할 수 있다. 이미지들(232_1 내지 232_N)은 각각, 태그 정보를 포함할 수 있다. 특히 태그 정보에는 오브젝트의 위치정보가 포함될 수 있다. 또한 태그 정보에는 앞서 상세히 설명한 다양한 정보들이 더 포함될 수 있다.
또한 저장부(230)는 복사 및 붙여 넣기(copy & paste) 등을 위해 사용자가 메시지, 사진, 웹페이지, 문서 등에서 복사한 데이터를 임시 저장한다. 또한 저장부(230)는 휴대 단말(200)의 운영을 위한 다양한 설정 값(예, 화면 밝기, 터치 발생 시 진동 여부, 화면의 자동 회전 여부 등)을 저장한다.
저장부(230)는 부팅 프로그램, 적어도 하나 이상의 운영체제 및 어플리케이션들을 저장한다. 운영체제는 하드웨어와 어플리케이션 사이 그리고 어플리케이션들 사이의 인터페이스 역할을 하고, CPU, GPU, 메인메모리 및 저장부(230) 등의 컴퓨터 자원을 관리한다. 어플리케이션들은 내재화 어플리케이션(embedded application)과 서드파티 어플리케이션(3rd party application)으로 분류된다. 예컨대 내재화 어플리케이션은 웹 브라우저(Web browser), 이메일(email) 프로그램, 인스턴트 메신저(instant messenger) 등이다. 특히 저장부(230)는 이미지 인식 어플리케이션(135), 태그 정보 생성 어플리케이션(136) 및 이미지 편집 어플리케이션(137)을 저장할 수 있다.
무선통신부(240)는 제어부(280)의 제어 하에, 네트워크를 통해 외부장치와 음성 통화, 화상 통화 또는 데이터 통신을 수행한다. 무선통신부(240)는 송신되는 신호의 주파수를 상승변환 및 증폭하는 무선주파수 송신부와, 수신되는 신호의 주파수를 저잡음 증폭 및 하강 변환하는 무선주파수 수신부를 포함한다. 또한 무선 통신부(130)는 이동 통신 모듈(예컨대, 3세대(3-Generation) 이동통신모듈, 3.5세대(3.5-Generation) 이동통신모듈 또는 4세대(4-Generation) 이동통신모듈 등), 디지털 방송 모듈(예컨대, DMB 모듈) 및 근거리 통신 모듈(예, 와이파이(Wi-Fi) 모듈, 블루투스(bluetooth) 모듈, NFC(Near Field Communication) 모듈)을 포함한다.
오디오처리부(250)는 스피커(SPK) 및 마이크(MIC)와 결합하여 음성 인식, 음성 녹음, 디지털 레코딩(recording) 및 통화를 위한 오디오 신호(예, 음성 데이터)의 입력 및 출력을 수행한다. 오디오처리부(250)는 제어부(280)로부터 오디오 신호를 수신하고, 수신한 오디오 신호를 아날로그로 D/A　변환하고 증폭한 후 스피커(SPK)로 출력한다. 오디오처리부(250)는 마이크(MIC)으로부터 수신한 오디오 신호를 디지털로 A/D 변환한 후 제어부(280)로 제공한다. 스피커(SPK)는 오디오처리부(250)로부터 수신한 오디오 신호를 음파(sound wave)로 변환하여 출력한다. 마이크(MIC)는 사람이나 기타 소리원(sound source)들로부터 전달된 음파를 오디오 신호로 변환한다.
카메라(260)는 제어부(280)의 제어 하에, 피사체를 촬영하여 제어부(280)로 출력하는 기능을 수행한다. 구체적으로, 카메라(260)는 빛을 모으기 위한 렌즈와, 이러한 빛을 전기적인 신호로 변환하는 이미지 센서와, 이미지 센서로부터 입력되는 전기 신호를 로우 데이터(raw data)로 처리하여 제어부(280)로 출력하는 ISP(Image Signal Processor)를 포함할 수 있다. 여기서 ISP는 제어부(280)의 제어 하에, 로우 데이터를 프리뷰 이미지로 가공하여 제어부(280)로 출력한다. 그러면, 제어부(280)는 프리뷰 이미지를 화면에 표시하도록 표시부(210)를 제어한다. 또한, ISP는 제어부(280)의 제어 하에, 로우 데이터를 압축 이미지(예컨대, JPEG)로 가공하여 제어부(280)로 출력한다. 제어부(280)는 터치패널(211) 또는 키입력부(220)로부터 셔터 이벤트(예, 사용자가 표시부(210)에 표시된 셔터 버튼을 탭)를 검출하고, 셔터 이벤트에 응답하여 압축 이미지를 저장부(230)에 저장한다. 한편, 이러한 ISP는 카메라(260)가 아닌, 제어부(280) 예컨대, AP에 구비될 수 있다. 또한, 본 발명의 휴대 단말(200)는 듀얼 카메라를 구비할 수도 있다. 예컨대, 제 1 카메라는 휴대 단말(200)의 후면에 배치되고, 제 2 카메라는 화면과 함께 전면에 배치될 수 있다. 물론, 두 카메라 모두 동일한 면에 배치될 수도 있다.
GPS 수신부(270)는 제어부(280)의 제어에 따라, 세 개 이상의 GPS 위성이 송신한 송신 시간을 포함하는 GPS 신호를 수신하고, 송신 시간과 GPS 신호가 수신된 수신 시간의 시간 차이를 이용하여 GPS 수신부(270; 즉, 휴대 단말(200))와 각각의 위성들 간의 거리를 계산하며, 이렇게 계산된 거리 정보를 이용하여 휴대 단말(200)의 위치 즉, 2차원 좌표값(위도/경도)를 계산하며, 계산된 위치 정보를 제어부(280)로 전달한다. 여기서 이러한 계산 기능은 제어부(280) 예컨대, AP에서 수행될 수도 있다.
제어부(280)는 휴대 단말(200)의 전반적인 동작 및 휴대 단말(200)의 내부 구성들 간의 신호 흐름을 제어하고, 데이터를 처리하는 기능을 수행하고, 배터리에서 상기 구성들로의 전원 공급을 제어한다.
제어부(280)는 하나 이상의 중앙처리유닛(Central Processing Unit; CPU)을 포함한다. 주지된 바와 같이 CPU는 자료의 연산 및 비교와, 명령어의 해석 및 실행 등을 수행하는 컴퓨터 시스템의 핵심적인 제어 유닛이다. CPU는 데이터나 명령을 일시 저장하는 각종 레지스터들을 포함한다. 제어부(280)는 하나 이상의 그래픽처리유닛(Graphic Processing Unit; GPU)을 포함할 수 있다. GPU는 CPU를 대신하여, 그래픽과 관련한 자료의 연산 및 비교와, 명령어의 해석 및 실행 등을 수행하는 그래픽 제어 유닛이다. CPU과 GPU는 각각, 두 개 이상의 독립 코어(예, 쿼드 코어(quad-core))가 단일 집적 회로로 이루어진 하나의 패키지(package)로 통합될 수 있다. 즉 CPU들은 하나의 멀티 코어 프로세서로 통합된 것일 수 있다. 또한 다수의 GPU들도 하나의 멀티 코어 프로세서로 통합된 것일 수 있다. 또한 CPU와 GPU는 하나의 칩으로 통합(SoC; System on Chip)된 것일 수 있다. 또한 CPU와 GPU는 멀티 레이어(multi layer)로 패키징(packaging)된 것일 수 있다. 한편 어플리케이션 프로세서(Application Processor; AP)는 CPU 및 GPU를 포함할 수 있다. 나아가, AP는 ISP를 더 포함하여 구성될 수도 있다.
제어부(280)는 메인메모리(main memory unit) 예컨대, 램(RAM)을 포함한다. 메인메모리는 저장부(230)로부터 로딩된 각종 프로그램 예컨대, 부팅 프로그램, 운영체제 및 어플리케이션들을 저장한다. 제어부(280)로 배터리의 전원이 공급되면 먼저 부팅 프로그램이 제어부(280)의 메인메모리(main memory unit)으로 로딩(loading)된다. 이러한 부팅 프로그램은 운영체제를 메인메모리로 로딩한다. 운영체제는 어플리케이션들을 메인메모리로 로딩한다. 제어부(280)(예컨대, AP, CPU)는 이와 같은 메인메모리에 저장된 프로그램에 액세스하여 프로그램의 명령을 해독하고, 해독 결과에 따른 기능(예컨대, 인물 인식, 사물 인식, 태그 정보 생성, 이미지 편집)을 실행한다. 또한 제어부(280)는 저장부(230)에 기록(write)할 데이터를 임시 저장하고 저장부(230)로부터 읽어 온(read) 데이터를 임시 저장하는 캐시메모리를 포함할 수 있다.
제어부(280)는 태그 정보를 생성하기 위해 연락처 정보 및 지도 정보를 이용할 수 있다. 예컨대, 오브젝트가 산으로 인식된 경우, 제어부(280)는 GPS 정보와 맵 정보를 이용하여 산의 명칭을 알아내고, 이를 해당 오브젝트의 이미지에 태깅한다. 오브젝트가 얼굴로 인식된 경우, 제어부(280)는 프로필 사진들과 비교하여 얼굴의 이름을 알아내고 이를 해당 오브젝트의 이미지에 태깅한다.
제어부(280)는 이미지들(232_1 내지 232_N) 중에서 편집의 대상을 선정하기 위해 태그 정보 및 우선순위 정보(234)를 이용할 수 있다. 예컨대, 이미지 합치기의 주제(예컨대, 이미지 폴더의 명칭)가 '산'인 경우, 제어부(280)는 이미지들(232_1 내지 232_N) 각각의 태그 정보들을 확인하여, 이미지들(232_1 내지 232_N) 중에서 '산'과 관련된 이미지들을 1차로 선택한다. 다음으로 제어부(280)는 우선순위 정보(234)를 참조하여 1차 선택된 이미지들 중에서 편집 대상을 최종 선택한다. 예컨대, 우선순위 정보(234)가 다음 표 1과 같다면, 제어부(280)는 오브젝트의 명칭이 주제와 관련된 이미지들을 1차 선택한다. 1차 선택된 이미지들의 수가 많은 경우(예컨대, 구획들의 수보다 많은 경우), 제어부(280)는 1차 선택된 이미지들 중 최근 촬영한 사진들을 예컨대, 구획들의 수만큼 최종 선택한다. 1차 선택된 이미지들의 수가 부족한 경우, 제어부(280)는 1차 선택 과정에서 제외된 나머지들 중에 최근 촬영한 사진들을 부족한 수만큼 더 선택한다.
1순위 오브젝트의 식별정보(예, 명칭)가 주제(예, 이미지폴더의 명칭)와 관련될 것
2순위 최근에 촬영한 사진을 선택할 것
3순위 콘트라스트가 선명한 이미지를 선택할 것
4순위 해상도가 높은 이미지를 선택할 것
또한, 제어부(280)는 이미지들을 하나로 합성하여 표시한다. 이와 관련해서는 아래에서 구체적으로 설명한다.
한편, 휴대 단말(200)은 이어잭, 진동 모터, 가속도 센서, 액세서리 등과 같이 상기에서 언급되지 않은 구성들을 더 포함할 수 있다. 여기서 액세서리는 휴대 단말(200)로부터 분리가 가능한 휴대 단말(200)의 부속품으로써 예컨대, 터치를 위한 펜이 될 수 있다.
도 3은 본 발명의 일 실시예에 따른 이미지 합성 방법을 설명하기 위한 흐름도이다. 도 4는 이미지 선택 방법의 일례를 설명하기 위한 도면이다. 도 5a는 프레임 선택 방법의 일례를 설명하기 위한 도면이다. 도 5b는 이미지와 프레임의 구획을 맴핑하는 방법의 이례를 설명하기 위한 도면이다. 도 5c는 오브젝트와 구획을 맴핑하는 방법의 일례를 설명하기 위한 도면이다. 도 5d는 타겟 이미지의 추출 방법의 일례를 설명하기 위한 도면이다. 도 5e는 타겟 이미지의 추출 방법의 다른 예를 설명하기 위한 도면이다. 도 5f는 타겟 이미지들로 채워진 프레임을 도시한 도면이다.
도 3을 참조하면, 단계 310에서 제어부(280)는 이미지 편집 어플리케이션(237)의 실행을 요청하는 이벤트(예컨대, 화면에 표시된 해당 아이콘을 사용자가 탭)를 터치패널(211)로부터 검출되는지 여부를 결정한다. 이미지 편집 어플리케이션(237)의 실행 요청 이벤트가 검출된 경우 제어부(280)는 이미지 편집 어플리케이션(237)의 실행 이미지(예컨대, 썸네일들)를 표시하도록 표시부(210)를 제어한다.
단계 320에서 제어부(280)는 원본 이미지들의 선택을 터치패널(211)로부터 검출한다. 예컨대, 도 4를 참조하면, 표시부(210)는 제어부(280)의 제어 하에, 이미지들 각각에 해당되는 썸네일들을 표시한다. 썸네일이 사용자에 의해 선택(예컨대, 탭)되면, 제어부(280)는 410과 같은 식별자를 해당 썸네일의 위에 표시하도록 표시부(210)를 제어한다. 또한, 제어부(280)는 선택된 썸네일을 그렇지 않은 것들과 구별되도록(예컨대, 흐릿하게 표시) 표시부(210)를 제어한다.
선택 완료 버튼(420)의 탭이 검출되면 제어부(280)는 프레임들 각각에 해당되는 썸네일들을 표시하도록 표시부(210)를 제어한다. 이때 구획의 개수는 선택된 원본 이미지의 수와 동일할 수 있다. 예컨대, 선택된 원본 이미지가 8개인 경우, 도 5a에 도시된 바와 같이 8개의 구획을 갖는 프레임의 썸네일들이 표시된다. 물론 9개 이상의 구획을 갖는 프레임의 썸네일들이 표시될 수도 있다. 예컨대, 원본 이미지가 선택되면, 제어부(280)는 원본 이미지의 태그 정보에 액세스하여 오브젝트의 개수를 확인할 수 있다. 원본 이미지가 8개이고 이들 중 하나가 오브젝트를 두 개 가지고 있는 것으로 확인되고 나머지는 한 개씩만 가지고 있는 것으로 확인되면, 제어부(280)는 오브젝트의 총 수가 9개임을 인식한다. 그렇다면, 표시부(210)는 제어부(280)의 제어 하에, 9개의 구획을 갖는 프레임의 썸네일들을 표시할 수 있다.
태그정보에서 오브젝트의 개수의 확인이 안 되는 경우 제어부(280)는 이미지 인식 기법을 이용하여 해당 원본 이미지에서 오브젝트의 개수를 인식할 수도 있다. 여기서 오브젝트의 개수는 제어부(280)가 인식한 값이다. 예컨대, 사진에 여러 인물들이 인접해있는 경우, 제어부(280)는 여러 인물들을 하나의 오브젝트로 인식할 수 있다. 물론, 여러 인물들이 인접해 있더라도 제어부(280)는 여러 인물들을 각각 식별할 수 있다. 그럴 경우 각각의 인물들이 각각 하나의 오브젝트일 수 있다.
프레임의 썸네일들 중 어느 하나가 선택(예컨대, 사용자가 510을 터치함)되면, 단계 340에서 제어부(280)는 도 5b에 도시된 바와 같이, 선택된 원본 이미지들(521 내지 528)을 프레임의 구획들에 각각 일대일 맵핑할 수 있다. 또는 단계 340에서 제어부(280)는 도 5c에 도시된 바와 같이, 인식된 오브젝트들(531 내지 534)을 프레임의 구획들에 각각 일대일 맵핑할 수도 있다. 여기서 일대일 맵핑은 다양한 방식들이 이용될 수 있다. 예컨대, 제어부(280)는 임의대로 일대일 맵핑할 수 있다. 또는 제어부(280)는 오브젝트의 크기와 구획의 크기를 기준으로 일대일 맵핑할 수도 있다. 예컨대, 제어부(280)는 오브젝트들의 크기와 각 구획들의 크기를 계산한다. 제어부(280)는 계산 결과, 오브젝트들 중 가장 큰 오브젝트를, 구획들 중 가장 큰 구획에 맵핑할 수 있다. 즉 이렇게 크기 순서대로 오브젝트들이 각 구획들에 일대일 맵핑될 수 있다.
단계 350에서 제어부(280)는 타겟 이미지들을 해당 원본 이미지들에서 각각 추출한다. 여기서 하나의 원본 이미지에서 한 개의 타겟 이미지가 추출될 수도 있고 또는 여러 개의 타겟 이미지가 추출될 수도 있다. 예컨대, 도 5d를 참조하면, 각각 오브젝트 하나씩을 갖는 타겟 이미지들(541, 542)이 하나의 원본 이미지(540)에서 추출될 수 있다. 도 5e를 참조하면, 하나의 원본 이미지(550)에서 하나의 타겟 이미지(551)가 추출될 수도 있다. 이때 타겟 이미지는 복수의 오브젝트들(551a, 551b)을 가질 수 있다. 한편, 추출 방법의 구체적인 예시는 도 6을 참조하여 구체적으로 설명한다.
단계 360에서 제어부(280)는 타겟 이미지들을, 일대일 맵핑 관계인 구획들에 각각 표시하도록 표시부(210)를 제어한다. 도 5f를 참조하면, 오브젝트들이 각각 해당 구획에 표시된다. 제어부(280)는 터치제스처에 응답하여 타겟 이미지의 표시를 제어할 수 있다. 예컨대, 구획들 중 어느 하나에서 핀치 인이 검출되면 제어부(280)는 해당 구획 내의 이미지를 축소한다. 핀치 아웃이 검출되면 제어부(280)는 해당 구획 내의 이미지를 확대한다. 드래그가 검출되면 제어부(280)는 해당 구획 내의 이미지를 드래그의 방향으로 이동시킨다. 즉 드래그에 의해 오브젝트의 표시 위치가 변경된다. 더블 탭이 검출되면 제어부(280)는 해당 구획 내의 이미지를 좌우로 반전시킨다. 터치입력기구의 터치가 검출되고 나서 터치입력기구의 회전이 검출되면 제어부(280)는 해당 구획 내의 이미지를 회전시킨다.
단계 370에서 제어부(280)는 타겟 이미지들로 채워진 프레임을 하나의 합성 이미지로써 저장한다.
이상으로, 이미지 합성은 상술한 바와 같이, 원본 이미지들이 일괄적으로 선택된 후 수행될 수 있다. 또한 원본 이미지에 태깅된 이미지들이 선택될 수 있다. 예컨대, 도 4를 참조하면, 표시된 썸네일들 중 어느 하나가 선택되고 난 후 태그 옵션 버튼(430)의 탭이 검출되면 제어부(280)는 선택된 썸네일의 원본 이미지에 태깅된 이미지들의 썸네일들을 표시하도록 표시부(210)를 제어할 수 있다. 이후 표시된 썸네일들 중에서 일부(또는 전부)가 선택되고, 선택된 일부에 해당되는 태깅 이미지들이 앞서 선택된 원본 이미지와 함께 합성되고, 그 결과가 표시될 수 있다.
도 6은 본 발명의 일 실시예에 따른 원본 이미지에서 타겟 이미지를 추출하는 방법을 설명하기 위한 흐름도이다. 도 7 및 도 8은 타겟 이미지를 해당 구획에 맞게 축소하는 방법의 일례를 설명하기 위한 도면들이다. 도 9a 및 도 9b는 타겟 이미지의 영역을 계산하는 방법의 일례를 설명하기 위한 도면들이다. 도 10a 및 도 10b는 타겟 이미지를 해당 구획에 맞게 확대하는 방법의 일례를 설명하기 위한 도면들이다.
도 6을 참조하면, 단계 610에서 제어부(280)는 원본 이미지의 태그 정보에 오브젝트의 위치 정보가 포함되어 있는지 여부를 결정한다. 태그 정보에 오브젝트의 위치 정보가 포함되어 있는 경우 프로세스는 단계 650으로 진행된다.
태그 정보에 오브젝트의 위치 정보가 포함되어 있지 않은 경우 단계 620에서 제어부(280)는 원본 이미지에서 오브젝트를 인식한다. 오브젝트의 인식이 성공된 경우 단계 630에서 제어부(280)는 인식된 오브젝트의 위치 정보(예컨대, 해당 오브젝트를 포함하는 직사각형에서 좌상귀 좌표와 우하귀 좌표)를 생성하고, 이를 원본 이미지에 태깅한다. 태깅 후 프로세스는 단계 650으로 진행된다.
오브젝트의 인식이 실패한 경우 단계 640에서 제어부(280)는 원본 이미지와 맵핑 관계인 구획에 들어갈 타겟 이미지를 원본 이미지에서 임의로 추출한다. 이때 타겟 이미지에는, 오브젝트의 인식이 실패하였으므로, 오브젝트(예, 얼굴)의 일부만 포함되거나 오브젝트가 포함되지 않을 수 있다.
단계 650에서 제어부(280)는 원본 이미지의 축소가 필요한지 여부를 결정한다. 축소가 필요하지 않는 경우 즉, 오브젝트의 높이 H1이 해당 구획의 높이 H2보다 작고 오브젝트의 폭 W1이 해당 구획의 폭 W2보다 작은 경우, 프로세스는 단계 670으로 진행된다.
H1 > H2이거나 W1 > W2인 경우, 단계 660에서 제어부(280)는 다음과 같은 방법을 이용하여 원본 이미지를 축소한다. 도 7을 참조하면, W1/H1 < W2/H2인 경우, 제어부(280)는 W1이 Wf(=(W1*H2)/H1)로 축소되도록 원본 이미지를 축소한다. 도 8을 참조하면, W1/H1 > W2/H2인 경우, 제어부(280)는 H1이 Hf(=(W2*H1)/W1)로 축소되도록 원본 이미지를 축소한다. 원본 이미지의 축소 후 프로세스는 단계 670으로 진행된다.
단계 670에서 제어부(280)는 원본 이미지와 맵핑 관계인 구획에 들어갈 타겟 이미지를 원본 이미지에서 추출한다. 여기서 타겟 이미지는 적어도 하나 이상의 오브젝트를 포함한다. 이미지 추출 방법의 일례는 다음과 같다.
도 9a 및 도 9b를 참조하면, 원본 이미지(910)는 프레임(920)의 제 1 구획(921)과 맵핑 관계이다. 제 1 구획(921)의 형태는 도시된 바와 같이 비장방형(즉, 내각들 중 적어도 하나가 직각이 아닌 사각형)이다. 원본 이미지(910)는 얼굴 오브젝트(911a)를 포함하고, 해당 태그 정보는 얼굴 오브젝트(911a)의 위치 정보 (x1, y1) 및 (x2, y2)를 포함한다. 얼굴 오브젝트(911a)의 높이는 제 1 구획(921)의 높이보다 작고 얼굴 오브젝트(911a)의 폭은 제 1 구획(921)의 폭보다 작다. 따라서, 얼굴 오브젝트(911a)의 축소는 필요 없다.
이와 같은 가정 하에, 제어부(280)는 먼저, 제 1 구획(921)보다 큰 장방형(즉, 내각들 모두 직각인 사각형)(922)을 생성한다. 만약 제 1 구획(921)의 형태가 장방형인 경우 이러한 생성은 생략된다. 제어부(280)는 얼굴 오브젝트(911a)가 장방형(922)의 중심에 오도록 장방형(922)을 원본 이미지(910)의 위에 위치시킨다. 그런 다음, 제어부(280)는 장방형(922) 내에 있는 타겟 이미지(911)를 원본 이미지(910)에서 추출한다. 다음으로, 제어부(280)는 타겟 이미지(911)의 중심을 제 1 구획(921)의 중심에 맞추고 나서, 제 1 구획(921)을 벗어나는 부분(911b, 911c)을 가린다. 또는 제어부(280)는 제 1 구획(921)을 벗어나는 부분(911b, 911c)을 잘라낼 수도 있다.
한편, 원본 이미지에서 오브젝트가 바깥쪽으로 치우쳐 있는 경우가 있을 수 있다. 이러한 원본 이미지에 대해 상술한 이미지 추출 방법이 수행될 경우, 해당 구획이 이미지로 다 채워지지 않고 빈공간이 생길 수 있다. 즉 이미지 추출이 완료된 후 단계 680에서 제어부(280)는 해당 구획에 빈공간이 생기는지 여부를 결정한다. 빈 공간이 생기는 경우 단계 690에서 제어부(280)는 빈공간이 매워지도록 타겟 이미지를 확대한다. 이러한 확대 방법의 일례는 다음과 같다.
도 10a 내지 도 10c를 참조하면, 원본 이미지(1010)는 프레임(1020)의 제 1 구획(1021)과 맵핑 관계이다. 제 1 구획(1021)의 형태는 도시된 바와 같이 비장방형이다. 원본 이미지(1010)는 얼굴 오브젝트(1011a)를 포함하고, 해당 태그 정보는 얼굴 오브젝트(1011a)의 위치 정보 (x1, y1) 및 (x2, y2)를 포함한다. 얼굴 오브젝트(1011a)의 높이는 제 1 구획(1021)의 높이보다 작고 얼굴 오브젝트(1011a)의 폭은 제 1 구획(1021)의 폭보다 작다. 따라서, 얼굴 오브젝트(1011a)의 축소는 필요 없다.
이와 같은 가정 하에, 제어부(280)는 먼저, 제 1 구획(1021)을 포함하는 장방형(1022)을 생성한다. 만약 제 1 구획(1021)의 형태가 장방형인 경우 이러한 생성은 생략된다. 제어부(280)는 얼굴 오브젝트(1011a)가 장방형(1022)의 중심에 오도록 장방형(1022)을 원본 이미지(1010)의 위에 위치시킨다. 그런 다음, 제어부(280)는 장방형(922) 내에 있는 타겟 이미지(1011)를 원본 이미지(1010)에서 추출한다. 다음으로, 제어부(280)는 타겟 이미지(1011)의 중심이 제 1 구획(1021)의 중심에 맞추고 나서, 제 1 구획(1021)을 벗어나는 부분(1011b)을 가리거나 잘라 낸다. 그런데, 도 10b에 도시된 바와 같이, 제 1 구획(1021)에 폭 (W1-Wm)와 높이 H1을 갖는 빈공간(1021a)이 생긴다. 이와 같이 빈공간(1021a)이 발생되면 제어부(280)는 제 1 구획(1021)이 모두 채워지게 타겟 이미지(1011)를 확대한다. 그런 다음 제어부(280)는 도 10c에 도시된 바와 같이, 확대된 타겟 이미지(1012)에서 제 1 구획(1021)을 벗어나는 부분(1012a)을 가리거나 잘라 낸다.
한편, 휴대 단말(200)에 저장된 이미지들은 폴더별로 관리될 수 있다. 폴더는 다른 용어 예컨대, 그룹으로 지칭될 수도 있다. 이러한 폴더의 명칭은 사용자에 의해 정해질 수 있다. 또한 폴더의 표지(cover) 즉, 이미지들을 대표하는 매거진 뷰(magazine view)가 생성될 수 있다. 본 발명에 따른 매거진 뷰는 그 하위 이미지들을 하나로 합성하여 만든 이미지일 수 있다. 따라서 사용자는 매거진 뷰가 무엇인지 직관적으로 인지할 수 있다. 예컨대, 사용자는 매거진 뷰의 해당 하위 이미지들이 어떠한 주제로 묶여 있는지 직관적으로 인지할 수 있다. 매거진 뷰는 다른 용어 예컨대, 프레임, 타일 뷰, 표지 등으로 지칭될 수 있다.
표시부(210)는 제어부(280)의 제어 하에, 매거진 뷰를 표시할 수 있다. 이렇게 표시된 매거진 뷰가 사용자에 의해 선택(예컨대, 탭)되면, 제어부(280)는 그 하위 이미지들을 썸네일 형태로 표시하도록 표시부(210)를 제어할 수 있다.
사용자는 이미지를 폴더에서 다른 폴더로 이동시킬 수 있다. 또한, 사용자는 이미지를 폴더에서 삭제할 수도 있다. 또한 사용자는 이미지를 폴더에 추가할 수도 있다. 물론, 이러한 이동, 삭제, 추가 등과 같은 이미지 폴더의 업데이트는 자동으로(즉, 사용자 입력 없이) 이루어질 수도 있다. 예컨대, 이미지가 촬영되면 제어부(280)는 해당 태그 정보(예, 촬영 장소)와 관련된 폴더로 이미지를 추가한다. 이러한 업데이트가 발생되면 매거진 뷰도 새롭게 업데이트될 수 있다. 이러한 업데이트 방법의 일례를 도 11 내지 도 14를 참조하여 설명한다.
도 11은 본 발명의 다른 실시예에 따른 이미지 합성 방법을 설명하기 위한 흐름도이다. 도 12는 본 발명의 일 실시예에 따른 매거진 뷰를 도시한 도면이다.
도 11을 참조하면, 단계 1110에서 제어부(280)는 이미지 폴더가 업데이트되었는지 여부를 결정한다. 이미지 폴더가 업데이트된 경우 단계 1120에서 제어부(280)는 표 1과 같은 우선순위 정보를 기반으로 이미지 폴더에서 원본 이미지들을 선택한다.
단계 1130에서 제어부(280)는 선택된 원본 이미지들을 매거진 뷰의 구획들에 각각 일대일로 맵핑할 수 있다. 또는 단계 1130에서 제어부(280)는 인식된 오브젝트들을 매거진 뷰의 구획들에 각각 일대일 맵핑할 수도 있다. 매거진 뷰에서 각 구획들은 도 12에 도시된 바와 같이, 서로 겹쳐질 수 있다. 물론, 도 5에 도시된 바와 같이 겹쳐지지 않을 수도 있다. 한편, 일대일 맵핑은 다양한 방식들이 이용될 수 있다. 예컨대, 제어부(280)는 임의대로 일대일 맵핑할 수 있다. 또는 제어부(280)는 오브젝트의 크기를 기준으로 일대일 맵핑할 수도 있다. 즉 오브젝트의 축소가 최소화되는 방향으로 일대일 맵핑될 수도 있다.
단계 1140에서 제어부(280)는 타겟 이미지들을 해당 원본 이미지들에서 각각 추출한다. 여기서 하나의 원본 이미지에서 한 개의 타겟 이미지가 추출될 수도 있고 또는 여러 개의 타겟 이미지가 추출될 수도 있다. 하나의 타겟 이미지는 복수의 오브젝트들을 가질 수 있다. 물론 타겟 이미지는 하나의 오브젝트만 가질 수도 있다. 한편, 추출 방법의 구체적인 예시는 도 13을 참조하여 구체적으로 설명한다.
단계 1150에서 제어부(280)는 타겟 이미지들을, 일대일 맴핑 관계인 구획들에 각각 표시하도록 표시부(210)를 제어한다.
단계 1160에서 제어부(280)는 타겟 이미지들로 채워진 매거진 뷰를 해당 이미지 폴더의 표지로써 저장한다.
도 13은 본 발명의 다른 실시예에 따른 원본 이미지에서 타겟 이미지를 추출하는 방법을 설명하기 위한 흐름도이다. 도 14a 내지 도 14c는 타겟 이미지의 영역을 계산하는 방법의 다른 예를 설명하기 위한 도면들이다.
도 13을 참조하면, 단계 1310에서 제어부(280)는 원본 이미지의 태그 정보에 오브젝트의 위치 정보가 포함되어 있는지 여부를 결정한다. 태그 정보에 오브젝트의 위치 정보가 포함되어 있는 경우 프로세스는 단계 1350으로 진행된다.
태그 정보에 오브젝트의 위치 정보가 포함되어 있지 않은 경우 단계 1320에서 제어부(280)는 원본 이미지에서 오브젝트를 인식한다. 오브젝트의 인식이 성공된 경우 단계 1330에서 제어부(280)는 인식된 오브젝트의 위치 정보를 생성하고, 이를 원본 이미지에 태깅한다. 태깅 후 프로세스는 단계 1350으로 진행된다.
오브젝트의 인식이 실패한 경우 단계 1340에서 제어부(280)는 원본 이미지와 맵핑 관계인 구획에 들어갈 타겟 이미지를 원본 이미지에서 임의로 추출한다.
단계 1350에서 제어부(280)는 원본 이미지의 축소가 필요한지 여부를 결정한다. 축소가 필요하지 않는 경우, 프로세스는 단계 1370으로 진행된다. 축소가 필요한 경우 단계 1360에서 제어부(280)는 원본 이미지를 축소한다. 원본 이미지의 축소 후 프로세스는 단계 1370으로 진행된다.
단계 1370에서 제어부(280)는 원본 이미지와 맵핑 관계인 구획에서 다른 구획과 겹치지 않는 부분에 오브젝트가 위치할 수 있도록 타겟 이미지를 원본 이미지에서 추출한다. 이미지 추출 방법의 다른 예는 다음과 같다.
도 14a 내지 도 14c를 참조하면, 원본 이미지(1410)는 매거진 뷰(1420)의 제 1 구획(1421)과 맵핑 관계이다. 제 1 구획(1421)의 형태는 장방형이고, 제 1 구획(1421)의 일부는 제 2 구획(1422)와 겹치고, 다른 일부는 제 3 구획(1423)과 겹친다. 원본 이미지(1410)는 얼굴 오브젝트(1411a)를 포함하고, 해당 태그 정보는 얼굴 오브젝트(1411a)의 위치 정보 (x1, y1) 및 (x2, y2)를 포함한다. 얼굴 오브젝트(1411a)의 높이는 제 1 구획(1421)의 높이보다 작고 얼굴 오브젝트(1411a)의 폭은 제 1 구획(1421)의 폭보다 작다. 따라서, 얼굴 오브젝트(1411a)의 축소는 필요 없다.
이와 같은 가정 하에, 제어부(280)는 제 1 구획(1421)의 형태가 장방형인지 여부를 결정한다. 도시된 바와 같이 장방형인 경우 제어부(280)는 제 1 구획(1421)에서 다른 구획과 겹치는 부분이 존재하는지 여부를 결정한다. 도시된 바와 같이 겹치는 부분이 존재하는 경우 제어부(280)는 다른 구획들과 겹치지 않는 영역(1421a)을 인식한다. 다음으로, 제어부(280)는 얼굴 오브젝트(1411a)가 상기 비겹침 영역(1421a)의 중심에 오도록 비겹침 영역(1421a)을 원본 이미지(1410)의 위에 위치시킨다. 그런 다음, 제어부(280)는 비겹침 영역(1421a)을 기준으로 제 1 구획(1421)을 원본 이미지(1410)의 위에 위치시킨다. 그런 다음, 제어부(280)는 제 1 구획(1421) 내에 있는 타겟 이미지(1411)를 원본 이미지(1410)에서 추출한다. 다음으로, 제어부(280)는 타겟 이미지(1411)를 매거진 뷰(1420)의 제 1 구획(1421)에 위치시킨다. 그 결과 표시되는 매거진 뷰(1420)는 도 14c와 같다. 도 14c에 도시된 바와 같이, 얼굴 오브젝트(1411a)는 겹치지 않는 영역에서 표시된다.
이미지 추출이 완료된 후 단계 1380에서 제어부(280)는 해당 구획에 빈공간이 생기는지 여부를 결정한다. 빈 공간이 생기는 경우 단계 1390에서 제어부(280)는 빈공간이 매워지도록 타겟 이미지를 확대한다.
도 15a, 도 15b 및 도 15c는 본 발명의 일 실시예에 따른 타일 뷰를 도시한 도면들이다.
도 15a, 도 15b 및 도 15c를 참조하면, 홈 스크린은 타일 뷰의 형태로 표시될 수 있다. 타일 뷰는 예컨대, 환경 설정(Setting), 연락처(Contacts), 스케줄(Schedule), 게임(Game), 알람(Alarm), 갤러리(Gallery), SNS(Social Network Service) 등과 같은 타일(즉, 항목)들을 포함할 수 있다. 예컨대, 환경 설정 타일에는 사용자가 주로 찾는 설정 항목(예, 와이파이 사용 여부)이 표시될 수 있다. 연락처 타일에는 즐겨 찾는 연락처 정보가 표시될 수 있다. 또한, 갤러리 타일에는 예컨대, 최근 촬영된 사진이 표시될 수 있다. 이상으로, 사용자는 어플리케이션을 통하지 않고, 타일 뷰를 통해 해당 어플리케이션의 콘텐츠(예, 사진, 연락처, SNS메시지 등)를 볼 수 있다.
제어부(280)는 해당 사진의 태그 정보에 액세스하여 오브젝트(1511)의 위치를 확인하고, 해당 사진이 오브젝트(1511) 중심으로 갤러리 타일에 표시되도록 제어할 수 있다. 이때, 제어부(280)는 오브젝트(1511)가 움직이는 시각적인 효과를 제공하도록 표시부(210)를 제어할 수도 있다. 예컨대, 도 15a 및 도 15b를 참조하면, 오브젝트(1511)가 왼쪽에서 오른쪽으로 움직이는 시각적인 효과가 사용자에게 제공된다. 여기서 오브젝트(1511)가 실제 움직이는 것은 아니며, 표시되는 영역이 왼쪽에서 오른쪽으로 변경된 것이다. 한편, 시각적인 효과는 시각적인 피드백, 애니메이션 등으로 지칭될 수도 있다.
또한, 제어부(280)는 오브젝트(1511)가 주밍(zooming)되는 시각적인 효과를 제공하도록 표시부(210)를 제어할 수도 있다. 예컨대, 도 15b 및 도 15c를 참조하면, 오브젝트(1511)가 줌아웃되는 시각적인 효과가 사용자에게 제공된다. 이렇게 오브젝트(1511)가 줌 아웃됨에 따라 상대적으로 그 배경이 차지하는 영역이 넓어진다. 또한, 오브젝트(1511)가 줌인될 경우 상대적으로 그 배경이 차지하는 영역이 좁아진다.상술한 바와 같은 본 발명에 따른 이미지 합성 방법은 다양한 컴퓨터를 통하여 수행될 수 있는 프로그램 명령으로 구현되어 컴퓨터로 판독 가능한 기록 매체에 기록될 수 있다. 여기서 기록매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 포함할 수 있다. 또한 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수 있다. 또한 기록매체에는 하드디스크, 플로피디스크 및 자기 테이프와 같은 자기매체(Magnetic Media)와, CD-ROM, DVD와 같은 광기록 매체(Optical Media)와, 플롭티컬 디스크(Floptical Disk)와 같은 자기-광 매체(Magneto-Optical Media)와, 롬(ROM)과, 램(RAM)과, 플래시 메모리 등과 같은 하드웨어 장치가 포함될 수 있다. 또한 프로그램 명령에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라, 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드가 포함될 수 있다. 하드웨어 장치는 본 발명을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있다.
본 발명에 따른 이미지 합성 방법 및 전자 장치는 전술한 실시 예에 국한되지 않고 본 발명의 기술 사상이 허용하는 범위에서 다양하게 변형하여 실시할 수가 있다.
210: 표시부 211: 터치패널
220: 키입력부 230: 저장부
240: 무선통신부 250: 오디오 처리부
260: 카메라 270: GPS 수신부
280: 제어부

Claims (28)

  1. 원본 이미지의 선택을 검출하는 단계;
    상기 원본 이미지에 태깅된 태그 정보에서 오브젝트의 위치 정보를 확인하는 단계;
    상기 위치 정보를 이용하여 상기 오브젝트를 포함하는 타겟 이미지를 상기 원본 이미지에서 추출하는 단계; 및
    상기 타겟 이미지를 프레임의 구획들 중 미리 지정된 맵핑된 구획에 표시하는 단계를 포함하는 전자 장치의 이미지 합성 방법.
  2. 제 1 항에 있어서,
    상기 추출하는 단계는,
    상기 오브젝트가 상기 맵핑된 구획의 중심에 오게 상기 타겟 이미지를 추출하는 것을 특징으로 하는 전자 장치의 이미지 합성 방법.
  3. 제 2 항에 있어서,
    상기 추출하는 단계는,
    상기 맵핑된 구획의 형태가 장방형이 아닌 경우 상기 맵핑된 구획보다 큰 장방형을 생성하는 단계;
    상기 오브젝트가 상기 장방형의 중심에 오게 상기 장방형을 상기 원본 이미지의 위에 위치하는 단계;
    상기 장방형 내에 있는 타겟 이미지를 상기 원본 이미지에서 추출하는 단계; 및
    상기 타겟 이미지의 중심을 상기 맵핑된 구획의 중심에 맞추고 나서 상기 맵핑된 구획을 벗어나는 부분을 잘라내는 단계를 포함하는 것을 특징으로 하는 전자 장치의 이미지 합성 방법.
  4. 제 1 항에 있어서,
    상기 추출하는 단계는,
    상기 위치 정보의 확인 결과 상기 오브젝트의 폭이 상기 맵핑된 구획의 폭보다 크거나 상기 오브젝트의 높이가 상기 맵핑된 구획의 높이보다 큰 경우, 상기 원본 이미지를 축소한 다음 상기 타겟 이미지를 추출하는 것을 특징으로 하는 전자 장치의 이미지 합성 방법.
  5. 제 1 항에 있어서,
    상기 표시하는 단계는,
    상기 타겟 이미지가 상기 맵핑된 구획보다 작은 경우 상기 타겟 이미지를 확대한 후 표시하는 것을 특징으로 하는 전자 장치의 이미지 합성 방법.
  6. 제 1 항에 있어서,
    상기 추출하는 단계는,
    상기 맵핑된 구획이 다른 구획과 겹치는 경우, 상기 맵핑된 구획에서 상기 다른 구획과 겹치지 않는 부분에 상기 오브젝트가 위치할 수 있도록 상기 타겟 이미지를 추출하는 것을 특징으로 하는 전자 장치의 이미지 합성 방법.
  7. 제 1 항에 있어서,
    상기 타겟 이미지가 움직이는 시각적인 효과를 제공하는 단계를 더 포함하는 전자 장치의 이미지 합성 방법.
  8. 제 1 항에 있어서,
    상기 타겟 이미지가 주밍되는 시각적인 효과를 제공하는 단계를 더 포함하는 전자 장치의 이미지 합성 방법.
  9. 이미지 폴더의 이미지들 중에서 원본 이미지들을 선택하는 단계;
    상기 원본 이미지들에 각각 태깅된 태그 정보들에서 오브젝트들의 위치 정보들을 확인하는 단계;
    상기 위치 정보들을 이용하여 상기 오브젝트들을 각각 포함하는 타겟 이미지들을 상기 원본 이미지들에서 추출하는 단계; 및
    상기 이미지 폴더의 표지를 나타내는 매거진 뷰의 각 구획들에 상기 타겟 이미지들을 표시하는 단계를 포함하는 전자 장치의 이미지 합성 방법.
  10. 제 9 항에 있어서,
    상기 선택하는 단계는,
    상기 이미지 폴더의 이미지들에 각각 태깅된 식별정보들을 확인하여, 상기 이미지 폴더의 명칭과 관련된 이미지를 원본 이미지로써 우선적으로 선택하는 것을 특징으로 하는 전자 장치의 이미지 합성 방법.
  11. 제 9 항에 있어서,
    상기 선택하는 단계는,
    상기 이미지 폴더의 이미지들에 각각 태깅된 날짜 정보들을 확인하여, 최근 날짜에 해당되는 이미지를 원본 이미지로써 우선적으로 선택하는 것을 특징으로 하는 전자 장치의 이미지 합성 방법.
  12. 제 9 항에 있어서,
    태그 정보는 식별 정보, 날짜 정보, 콘트라스트 정보, 위치 정보 및 해상도 정보 중 하나 이상을 포함하고,
    상기 선택하는 단계는 상기 식별 정보, 상기 날짜 정보, 상기 콘트라스트 정보, 상기 위치 정보 및 상기 해상도 정보 중 하나 이상을 이용하여 상기 원본 이미지들을 선택하는 것을 특징으로 하는 전자 장치의 이미지 합성 방법.
  13. 원본 이미지들의 선택을 검출하는 단계;
    상기 선택된 원본 이미지들과 동일한 개수의 구획들을 갖는 프레임들에 각각 대응되는 썸네일들을 표시하는 단계;
    상기 썸네일들 중 하나의 선택을 검출하는 단계;
    상기 원본 이미지들에 각각 태깅된 태그 정보들에서 오브젝트들의 위치 정보들을 확인하는 단계;
    상기 위치 정보들을 이용하여 상기 오브젝트들을 각각 포함하는 타겟 이미지들을 상기 원본 이미지들에서 추출하는 단계; 및
    상기 타겟 이미지들을 상기 선택된 썸네일에 해당되는 프레임의 구획들에 각각 표시하는 단계를 포함하는 전자 장치의 이미지 합성 방법.
  14. 표시부;
    상기 표시부의 화면에 설치된 터치패널;
    이미지들 및 이들에 각각 태깅된 태그 정보들을 저장하는 저장부; 및
    상기 표시부, 상기 터치패널 및 상기 저장부를 제어하는 제어부를 포함하고,
    상기 제어부는,
    상기 터치패널로부터 원본 이미지의 선택을 검출하고, 상기 저장부에 액세스하여 상기 원본 이미지에 태깅된 태그 정보에서 오브젝트의 위치 정보를 확인하고, 상기 위치 정보를 이용하여 상기 오브젝트를 포함하는 타겟 이미지를 상기 원본 이미지에서 추출하고, 상기 타겟 이미지를 프레임의 구획들 중 미리 지정된 맵핑된 구획에 표시하도록 상기 표시부를 제어하는 것을 특징으로 하는 전자 장치.
  15. 제 14 항에 있어서,
    상기 제어부는,
    상기 오브젝트가 상기 맵핑된 구획의 중심에 오게 상기 타겟 이미지를 추출하는 것을 특징으로 하는 전자 장치.
  16. 제 15 항에 있어서,
    상기 제어부는,
    상기 맵핑된 구획의 형태가 장방형이 아닌 경우 상기 맵핑된 구획보다 큰 장방형을 생성하고, 상기 오브젝트가 상기 장방형의 중심에 오게 상기 장방형을 상기 원본 이미지의 위에 위치하고, 상기 장방형 내에 있는 타겟 이미지를 상기 원본 이미지에서 추출하고, 상기 타겟 이미지의 중심을 상기 맵핑된 구획의 중심에 맞추고 나서 상기 맵핑된 구획을 벗어나는 부분을 잘라내는 것을 특징으로 하는 전자 장치.
  17. 제 14 항에 있어서,
    상기 제어부는,
    상기 위치 정보의 확인 결과 상기 오브젝트의 폭이 상기 맵핑된 구획의 폭보다 크거나 상기 오브젝트의 높이가 상기 맵핑된 구획의 높이보다 큰 경우, 상기 원본 이미지를 축소한 다음 상기 타겟 이미지를 추출하는 것을 특징으로 하는 전자 장치.
  18. 제 14 항에 있어서,
    상기 제어부는,
    상기 타겟 이미지가 상기 맵핑된 구획보다 작은 경우 상기 타겟 이미지를 확대한 후 표시하도록 제어하는 것을 특징으로 하는 전자 장치.
  19. 제 14 항에 있어서,
    상기 제어부는,
    상기 맵핑된 구획이 다른 구획과 겹치는 경우, 상기 맵핑된 구획에서 상기 다른 구획과 겹치지 않는 부분에 상기 오브젝트가 위치할 수 있도록 상기 타겟 이미지를 추출하는 것을 특징으로 하는 전자 장치.
  20. 제 14 항에 있어서,
    상기 제어부는,
    상기 타겟 이미지가 움직이는 시각적인 효과를 제공하도록 제어하는 것을 특징으로 하는 전자 장치.
  21. 제 14 항에 있어서,
    상기 제어부는,
    상기 타겟 이미지가 주밍되는 시각적인 효과를 제공하도록 제어하는 것을 특징으로 하는 전자 장치.
  22. 표시부;
    이미지 폴더의 이미지들 및 이들에 각각 태깅된 태그 정보들을 저장하는 저장부; 및
    상기 표시부 및 상기 저장부를 제어하는 제어부를 포함하고,
    상기 제어부는,
    상기 이미지 폴더의 이미지들 중에서 원본 이미지들을 선택하고, 상기 원본 이미지들에 각각 태깅된 태그 정보들에서 오브젝트들의 위치 정보들을 확인하고, 상기 위치 정보들을 이용하여 상기 오브젝트들을 각각 포함하는 타겟 이미지들을 상기 원본 이미지들에서 추출하고, 상기 이미지 폴더의 표지를 나타내는 매거진 뷰의 각 구획들에 상기 타겟 이미지들을 표시하도록 제어하는 것을 특징으로 하는 전자 장치.
  23. 제 22 항에 있어서,
    상기 제어부는,
    상기 이미지 폴더의 이미지들에 각각 태깅된 식별정보들을 확인하여, 상기 이미지 폴더의 명칭과 관련된 이미지를 원본 이미지로써 우선적으로 선택하는 것을 특징으로 하는 전자 장치.
  24. 제 22 항에 있어서,
    상기 제어부는,
    상기 이미지 폴더의 이미지들에 각각 태깅된 날짜 정보들을 확인하여, 최근 날짜에 해당되는 이미지를 원본 이미지로써 우선적으로 선택하는 것을 특징으로 하는 전자 장치.
  25. 제 22 항에 있어서,
    태그 정보는 식별 정보, 날짜 정보, 콘트라스트 정보, 위치 정보 및 해상도 정보 중 하나 이상을 포함하고,
    상기 제어부는 상기 식별 정보, 상기 날짜 정보, 상기 콘트라스트 정보, 상기 위치 정보 및 상기 해상도 정보 중 하나 이상을 이용하여 상기 원본 이미지들을 선택하는 것을 특징으로 하는 전자 장치.
  26. 표시부;
    상기 표시부의 화면에 설치된 터치패널;
    이미지들 및 이들에 각각 태깅된 태그 정보들을 저장하는 저장부; 및
    상기 표시부, 상기 터치패널 및 상기 저장부를 제어하는 제어부를 포함하고,
    상기 제어부는,
    상기 터치패널로부터 원본 이미지들의 선택을 검출하고, 상기 선택된 원본 이미지들과 동일한 개수의 구획들을 갖는 프레임들에 각각 대응되는 썸네일들을 표시하도록 제어하고, 상기 터치패널로부터 상기 썸네일들 중 하나의 선택을 검출하고, 상기 원본 이미지들에 각각 태깅된 태그 정보들에서 오브젝트들의 위치 정보들을 확인하고, 상기 위치 정보들을 이용하여 상기 오브젝트들을 각각 포함하는 타겟 이미지들을 상기 원본 이미지들에서 추출하고, 상기 타겟 이미지들을 상기 선택된 썸네일에 해당되는 프레임의 구획들에 각각 표시하도록 제어하는 전자 장치.
  27. 표시부;
    상기 표시부의 화면에 설치된 터치패널;
    이미지들 및 이들에 각각 태깅된 태그 정보들을 저장하고, 이미지 합성을 위한 어플리케이션을 저장하는 저장부;상기 메모리에 액세스하여 상기 어플리케이션을 실행하는 프로세서를 포함하고,
    상기 어플리케이션은,
    원본 이미지에 태깅된 태그 정보에서 오브젝트의 위치 정보를 확인하고, 상기 위치 정보를 이용하여 상기 오브젝트를 포함하는 타겟 이미지를 상기 원본 이미지에서 추출하고, 상기 타겟 이미지를 프레임의 구획들 중 미리 지정된 맵핑된 구획에 표시하도록 하는 것을 특징으로 하는 전자 장치.
  28. 제 27 항에 있어서,
    상기 프로세서는,
    적어도 하나의 씨피유(CPU)나 에이피(AP)를 포함하는 것을 특징으로 하는 전자 장치.
KR20130040062A 2013-04-11 2013-04-11 이미지 합성 방법 및 이를 구현하는 전자 장치 KR20140122952A (ko)

Priority Applications (7)

Application Number Priority Date Filing Date Title
KR20130040062A KR20140122952A (ko) 2013-04-11 2013-04-11 이미지 합성 방법 및 이를 구현하는 전자 장치
EP20140162858 EP2793170A3 (en) 2013-04-11 2014-03-31 Objects in screen images
US14/242,145 US9852491B2 (en) 2013-04-11 2014-04-01 Objects in screen images
PCT/KR2014/002981 WO2014168389A1 (en) 2013-04-11 2014-04-07 Objects in screen images
AU2014201995A AU2014201995B2 (en) 2013-04-11 2014-04-08 Objects in screen images
CN201410142760.6A CN104103085A (zh) 2013-04-11 2014-04-10 屏幕图像中的对象
JP2014080902A JP2014207672A (ja) 2013-04-11 2014-04-10 イメージ合成方法及びこれを具現する電子装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR20130040062A KR20140122952A (ko) 2013-04-11 2013-04-11 이미지 합성 방법 및 이를 구현하는 전자 장치

Publications (1)

Publication Number Publication Date
KR20140122952A true KR20140122952A (ko) 2014-10-21

Family

ID=50624382

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20130040062A KR20140122952A (ko) 2013-04-11 2013-04-11 이미지 합성 방법 및 이를 구현하는 전자 장치

Country Status (7)

Country Link
US (1) US9852491B2 (ko)
EP (1) EP2793170A3 (ko)
JP (1) JP2014207672A (ko)
KR (1) KR20140122952A (ko)
CN (1) CN104103085A (ko)
AU (1) AU2014201995B2 (ko)
WO (1) WO2014168389A1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180014607A (ko) * 2016-08-01 2018-02-09 삼성전자주식회사 이미지 합성 및 복원하는 전자 장치 및 방법
US10691318B2 (en) 2016-08-01 2020-06-23 Samsung Electronics Co., Ltd. Electronic device and method for outputting thumbnail corresponding to user input
WO2022186646A1 (ko) * 2021-03-05 2022-09-09 삼성전자 주식회사 이미지 생성을 위한 전자 장치 및 전자 장치의 동작 방법
US11488284B2 (en) 2019-01-31 2022-11-01 Samsung Electronics Co., Ltd. Electronic device and method for processing image

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9633400B2 (en) * 2013-01-04 2017-04-25 Samsung Electronics Co., Ltd. Display apparatus and method of providing a user interface
CN104539853A (zh) * 2015-01-05 2015-04-22 锦池媒体科技（北京）有限公司 影像合成方法
KR102379171B1 (ko) * 2015-02-27 2022-03-25 삼성전자주식회사 전자 장치 및 그의 영상 표시 방법
CN104732481A (zh) * 2015-03-18 2015-06-24 百度在线网络技术（北京）有限公司 图像调整方法及装置
US10180788B2 (en) * 2016-04-06 2019-01-15 Sandisk Technologies Inc. Data storage device having internal tagging capabilities
CN109478311A (zh) * 2016-07-30 2019-03-15 华为技术有限公司 一种图像识别方法及终端
US10733478B2 (en) * 2016-08-31 2020-08-04 Facebook, Inc. Systems and methods for processing media content that depict objects
US10310361B1 (en) * 2017-06-05 2019-06-04 Amo Mangal Featherstone Personal imaging kiosk and associated use thereof
CN107203638B (zh) * 2017-06-08 2020-09-25 北京深瞐科技有限公司 监控视频处理方法、装置及系统
CN110110110A (zh) * 2018-02-02 2019-08-09 杭州海康威视数字技术股份有限公司 一种以图搜图方法、装置、电子设备及存储介质
CN109271090A (zh) * 2018-09-29 2019-01-25 华勤通讯技术有限公司 图像融合方法、终端以及计算机可读存储介质
CN109740593B (zh) * 2018-12-18 2020-11-13 全球能源互联网研究院有限公司 样本中至少一个预定目标的位置确定方法及装置
CN110706150A (zh) * 2019-07-12 2020-01-17 北京达佳互联信息技术有限公司 图像处理方法、装置、电子设备及存储介质
CN110750748A (zh) * 2019-10-24 2020-02-04 杭州网景汇网络科技有限公司 一种网页页面显示方法
CN111063001B (zh) * 2019-12-18 2023-11-10 北京金山安全软件有限公司 图片合成方法、装置、电子设备以及存储介质
US10771965B1 (en) * 2020-01-09 2020-09-08 Lexisnexis Risk Solutions Inc. Systems and methods for photo recognition-based identity authentication
CN111833247A (zh) * 2020-06-11 2020-10-27 维沃移动通信有限公司 图片处理方法、装置及电子设备
CN111918131A (zh) * 2020-08-18 2020-11-10 北京达佳互联信息技术有限公司 视频生成方法及装置
CN112492206B (zh) * 2020-11-30 2021-10-26 维沃移动通信（杭州）有限公司 图像处理方法、装置及电子设备
US20220398004A1 (en) * 2021-06-10 2022-12-15 Nvidia Corporation User Interfaces and Methods for Generating a New Artifact Based on Existing Artifacts
US11435885B1 (en) 2021-06-10 2022-09-06 Nvidia Corporation User interfaces and methods for generating a new artifact based on existing artifacts

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000020742A (ja) * 1998-06-30 2000-01-21 Toshiba Corp 映像再生装置及び映像再生方法、並びに記録媒体
JP3716676B2 (ja) * 1999-07-13 2005-11-16 コニカミノルタビジネステクノロジーズ株式会社 画像合成出力装置
JP2001346031A (ja) * 2000-06-05 2001-12-14 Fuji Photo Film Co Ltd 画像合成方法及び装置
US8549434B2 (en) * 2001-10-18 2013-10-01 Microsoft Corporation Method for graphical representation of a content collection
US7519907B2 (en) 2003-08-04 2009-04-14 Microsoft Corp. System and method for image editing using an image stack
JP2006287917A (ja) 2005-03-08 2006-10-19 Fuji Photo Film Co Ltd 画像出力装置、画像出力方法、および画像出力プログラム
US7990564B2 (en) 2005-07-29 2011-08-02 Vistaprint Technologies Limited Automated image sizing and placement
US7694885B1 (en) * 2006-01-26 2010-04-13 Adobe Systems Incorporated Indicating a tag with visual data
US20090013268A1 (en) * 2007-07-02 2009-01-08 Universal Ad Ltd. Creation Of Visual Composition Of Product Images
US8775953B2 (en) * 2007-12-05 2014-07-08 Apple Inc. Collage display of image projects
US8166034B2 (en) 2008-03-26 2012-04-24 Fujifilm Corporation Saving device for image sharing, image sharing system, and image sharing method
JP2009237702A (ja) * 2008-03-26 2009-10-15 Fujifilm Corp アルバム作成方法、プログラムおよび装置
US9275479B2 (en) * 2009-10-22 2016-03-01 Collage.Com, Llc Method, system and computer program product for creating collages that visually resemble a particular shape or group of shapes
US20120063689A1 (en) 2010-09-15 2012-03-15 The Johns Hopkins University Object recognition in an image
CN102194241B (zh) 2011-04-28 2013-07-10 西安交通大学 基于互联网的艺术拼图系统设计方法
KR101138873B1 (ko) 2011-05-30 2012-05-14 삼성전자주식회사 인물 ｄｂ 등록사진 수 축소 방법 및 장치
US20150134492A1 (en) * 2013-11-11 2015-05-14 Apple Inc. Coordinated image manipulation

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180014607A (ko) * 2016-08-01 2018-02-09 삼성전자주식회사 이미지 합성 및 복원하는 전자 장치 및 방법
US10691318B2 (en) 2016-08-01 2020-06-23 Samsung Electronics Co., Ltd. Electronic device and method for outputting thumbnail corresponding to user input
US11488284B2 (en) 2019-01-31 2022-11-01 Samsung Electronics Co., Ltd. Electronic device and method for processing image
WO2022186646A1 (ko) * 2021-03-05 2022-09-09 삼성전자 주식회사 이미지 생성을 위한 전자 장치 및 전자 장치의 동작 방법

Also Published As

Publication number Publication date
JP2014207672A (ja) 2014-10-30
AU2014201995B2 (en) 2018-05-10
WO2014168389A1 (en) 2014-10-16
AU2014201995A1 (en) 2014-10-30
US20140306999A1 (en) 2014-10-16
US9852491B2 (en) 2017-12-26
EP2793170A3 (en) 2014-11-19
EP2793170A2 (en) 2014-10-22
CN104103085A (zh) 2014-10-15

Similar Documents

Publication Publication Date Title
KR20140122952A (ko) 이미지 합성 방법 및 이를 구현하는 전자 장치
US11520476B2 (en) Electronic apparatus displaying representative information and control method thereof
KR102026717B1 (ko) 사진 촬영 가이드 방법 및 이를 구현하는 휴대 단말
CN105683894B (zh) 显示设备的应用执行方法及其显示设备
KR102010955B1 (ko) 프리뷰 제어 방법 및 이를 구현하는 휴대 단말
US9324305B2 (en) Method of synthesizing images photographed by portable terminal, machine-readable storage medium, and portable terminal
US9894115B2 (en) Collaborative data editing and processing system
US9430500B2 (en) Method and device for operating image in electronic device
KR102083209B1 (ko) 데이터 제공 방법 및 휴대 단말
KR102056175B1 (ko) 증강현실 콘텐츠 생성 방법 및 이를 구현하는 휴대단말장치
KR101999154B1 (ko) 데이터 표시 방법 및 휴대 단말
US9514512B2 (en) Method and apparatus for laying out image using image recognition
US20140033119A1 (en) Display device and control method thereof
US20140365923A1 (en) Home screen sharing apparatus and method thereof
KR20140089809A (ko) 이미지 표시 방법 및 휴대 단말
JP7217357B2 (ja) ミニプログラムのデータバインディング方法、装置、デバイス及びコンピュータプログラム
CN112230914B (zh) 小程序的制作方法、装置、终端及存储介质
US10939171B2 (en) Method, apparatus, and computer readable recording medium for automatic grouping and management of content in real-time
KR20170086947A (ko) 이동단말기 및 그 제어방법
JP2014215637A (ja) プログラム及び情報処理装置

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid