CN111527746B - 一种控制电子设备的方法及电子设备 - Google Patents

一种控制电子设备的方法及电子设备 Download PDF

Info

Publication number
CN111527746B
CN111527746B CN201880083517.8A CN201880083517A CN111527746B CN 111527746 B CN111527746 B CN 111527746B CN 201880083517 A CN201880083517 A CN 201880083517A CN 111527746 B CN111527746 B CN 111527746B
Authority
CN
China
Prior art keywords
music
image
sound source
source information
electronic device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880083517.8A
Other languages
English (en)
Other versions
CN111527746A (zh
Inventor
郑奎一
本杰明·胡博特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN111527746A publication Critical patent/CN111527746A/zh
Application granted granted Critical
Publication of CN111527746B publication Critical patent/CN111527746B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/92—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N1/32101—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N1/32128—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title attached to the image data, e.g. file header, transmitted message header, information on the same page or in the same computer file as the image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/92—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N5/9201—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving the multiplexing of an additional signal and the video signal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4722—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting additional data associated with the content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/858—Linking data to content, e.g. by linking an URL to a video object, by creating a hotspot
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • H04N9/8211—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal the additional signal being a sound signal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3261—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of multimedia information, e.g. a sound signal
    • H04N2201/3264—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of multimedia information, e.g. a sound signal of sound signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明涉及一种用于匹配和存储当电子设备捕获图像时的音乐信息的内容产生设备和方法，具体地，涉及一种用于将关于在捕获图像时由电子设备播放或在电子设备周围播放的音乐的信息与已捕获的图像一起存储的内容产生设备和方法。根据本公开的一个实施例，一种用于电子设备的控制方法，包括以下步骤：在用户输入拍摄指令时捕获图像；在捕获所述图像期间获得关于在所述电子设备所在的空间中播放的音乐的声源信息；以及将关于音乐的所述声源信息与已捕获的图像进行匹配并对其进行存储。

Description

一种控制电子设备的方法及电子设备
技术领域
本公开涉及一种用于匹配和存储当电子设备捕获图像时的音乐信息的内容产生设备和方法，具体地，涉及一种用于将关于在捕获图像时由电子设备播放或在电子设备周围播放的音乐的信息与已捕获的图像一起存储的内容产生设备和方法。
背景技术
随着电子技术的发展，使用各种电子设备提供大量内容的技术也已经不断发展。其中，近来出现了当使用能够捕获图像的电子设备(例如，智能手机)来捕获图像时记录在智能手机周围产生的声音并将该声音与图像一起存储的技术。如果用户在以后再现图像，则如上所述存储的内容可以将图像和在图像捕获时在智能手机周围产生的声音一起提供。
当用户希望再次倾听用户在捕获聚会或令人难忘的事件的图像时倾听的音乐时，用户可能不记得该音乐了。
因此，对于用户而言，在要搜索关于该音乐的信息所需要的时间和投入方面是不便的，并且现有的电子设备没有提出用于上述问题的任何解决方案。
发明内容
技术问题
本公开为了解决上述问题，并且本公开的目的在于通过将关于在图像捕获时倾听的音乐的信息与图像一起存储，提供一种内容图像 (content image)，其中用户能够在以后利用该内容图像找到在图像捕获时的音乐而不费任何力气。
技术方案
根据用于实现这样的目的的本公开的实施例，提供了一种电子设备的控制方法，所述方法包括：基于从用户接收到图像捕获命令，捕获图像；获得关于在捕获所述图像时电子设备所在的空间中播放的音乐的声源信息；以及将关于所述音乐的所述声源信息与已捕获的图像进行匹配，并存储已捕获的图像和所述声源信息。
所述获得可以包括：基于音乐是由电子设备播放的音乐，基于所述音乐的标记信息来获得所述音乐的声源信息。
所述获得可以包括：基于音乐是由与电子设备相连的外部设备播放的音乐，向所述外部设备请求关于音乐的声源信息；以及从所述外部设备接收关于音乐的声源信息。
所述获得可以包括：基于音乐是由与电子设备没有相连的外部设备播放的音乐，记录所播放的音乐并将所述音乐发送到外部服务器；以及基于所述外部服务器通过声源识别技术获得关于音乐的声源信息，从所述外部服务器接收关于音乐的声源信息。
所述方法还可以包括：基于输入了用于执行图库应用的用户命令，执行所述图库应用并显示UI，所述UI包括已存储的并与关于音乐的声源信息相匹配的图像。
所述方法还可以包括：在包括已存储的并与所述声源信息相匹配的图像的UI的一个区域中显示用于指示所述声源信息是匹配的且是已被存储的指示符。
所述方法还可以包括：基于在显示所述UI时输入了用于选择显示有指示符的区域的用户命令，显示所述UI中所包括的图像；并基于关于已存储的并与所述图像相匹配的音乐的声源信息来播放音乐；以及基于在显示所述UI时输入了用于选择其中没有显示所述指示符的区域的用户命令，显示所述UI中所包括的图像。
所述方法还可以包括：基于输入了用于执行音乐应用的用户命令，执行所述音乐应用并显示UI，所述UI包括已存储的并与关于音乐的声源信息相匹配的图像。
所述方法还可以包括：基于关于音乐的声源信息来显示UI列表；基于输入了用于从所述UI列表中选择包括已存储的并与关于第一音乐的声源信息相匹配的第一图像的第一UI的用户命令，播放所述第一音乐并显示所述第一图像；以及在所述第一图像之后再现第二UI 的第二图像，第二UI包括已存储的并与第一音乐的声源信息相匹配的第二图像。
所述方法还可以包括：识别所述图像中包括的人的脸部；通过使用已识别出的脸部来获得社交媒体账户信息；以及将已存储的并与关于音乐的声源信息相匹配的图像发送到所述社交媒体账户。
提供一种电子设备，包括：输入单元；相机；存储器；以及，处理器，被配置为：基于用户经由所述输入单元输入了图像捕获命令，控制所述相机来捕获图像，获得关于在捕获所述图像时在所述电子设备所在的空间中播放的音乐的声源信息，将关于音乐的声源信息与已捕获的图像进行匹配，并将已捕获的图像和所述声源信息存储在所述存储器中。
所述处理器可以被配置为：基于音乐是由电子设备播放的音乐，基于所述存储器中存储的所述音乐的标记信息来获得所述音乐的声源信息。
所述设备还可以包括：包括电路的通信器，并且所述处理器可以被配置为：基于音乐是由经由通信器与电子设备相连的外部设备播放的音乐，控制所述通信器向所述外部设备请求关于音乐的声源信息并从所述外部设备接收关于所述音乐的声源信息。
所述设备还可以包括：麦克风，并且所述处理器可以被配置为：基于音乐是由与电子设备没有相连的外部设备播放的音乐，控制所述麦克风记录所播放的音乐并将所述音乐发送到外部服务器，以及基于所述外部服务器通过声源识别技术获得关于所述音乐的声源信息，控制所述通信器从所述外部服务器接收关于所述音乐的所述声源信息。
所述设备还可以包括显示器，且所述处理器可以被配置为：基于经由输入单元输入了用于执行图库应用的用户命令，执行所述图库应用并且控制所述显示器以显示包括已存储并且已与关于所述音乐的所述声源信息匹配的图像的UI。
所述处理器可以被配置为控制显示器在包括已存储的并与所述声源信息相匹配的图像的UI的一个区域中显示用于指示所述声源信息是匹配的且是已被存储的指示符。
所述设备还可以包括扬声器，且所述处理器可以被配置为：基于在由显示器显示所述UI时输入了用于选择显示有指示符的区域的用户命令，控制所述显示器显示所述UI中所包括的图像；控制扬声器基于关于已存储的并与所述图像相匹配的音乐的声源信息来播放音乐；以及基于在显示器显示所述UI时输入了用于选择其中没有显示所述指示符的区域的用户命令，控制显示器显示所述UI中所包括的图像。
所述处理器可以被配置为：控制所述显示器，以基于关于所述音乐的所述声源信息来显示UI列表；基于输入了用于从所述UI列表中选择包括已存储并与关于第一音乐的声源信息相匹配的第一图像的第一UI的用户命令，控制所述扬声器以播放所述第一音乐并控制所述显示器以在所述显示器上显示所述第一图像，以及控制所述显示器以在所述第一图像之后在所述显示器上再现第二UI的第二图像，第二UI包括已存储的并与第一音乐的声源信息相匹配的第二图像。
所述处理器可以被配置为：基于关于所述音乐的所述声源信息来在显示器上显示UI列表；基于输入了用于从所述UI列表中选择包括已存储并与关于第一音乐的声源信息相匹配的第一图像的第一UI的用户命令，控制显示器在所述显示器上显示第一图像，控制扬声器播放第一音乐，并控制显示器在所述第一图像之后在所述显示器上再现第二UI的第二图像，第二UI包括已存储的并与第一音乐的声源信息相匹配的第二图像。
所述设备还可以包括：包括电路的通信器以及图像处理器，并且所述处理器可以被配置为：通过所述图像处理器识别图像中包括的人的脸部，通过使用已识别出的脸部从存储器获得社交媒体账户信息，以及控制所述通信器以将已存储的并与关于音乐的声源信息相匹配的图像发送到所述社交媒体账户。
发明的效果
根据本公开的实施例，用户通过在拍摄聚会或难忘事件的图像时将图像与所听到的音乐进行匹配并将它们进行存储，可以在以后再现图像并倾听音乐时回想起记忆，并且可以很容易地找到关于当时所听到的音乐的信息而不费任何力气。
另外，由于可以很容易地与参加该难忘事件的朋友共享相应的图像，因此可以共享那时的记忆。
附图说明
图1是用于描述根据实施例的电子设备的系统的视图。
图2是示出根据实施例的电子设备的配置的简略框图。
图3是示出根据实施例的电子设备的配置的详细框图。
图4是用于描述根据实施例的图像捕获模式的视图。
图5是用于描述根据实施例的用于再现在图库应用中存储并与音乐相匹配的图像的方法的视图。
图6是用于描述根据实施例的用于在音乐应用中播放与图像匹配的音乐的方法的视图。
图7是示出电子设备识别图像中的脸部，并且经由社交媒体账户发送已存储的并与关于音乐的声源信息相匹配的图像的实施例的视图。
图8是用于描述根据实施例的用于将由电子设备捕获的图像与关于音乐的声源信息进行匹配并将它们进行存储的方法的流程图。
图9是用于描述根据实施例的用于在各种情况下通过电子设备获得关于音乐的声源信息的方法的流程图。
具体实施方式
在下文中，将参考附图详细描述本公开。在描述本公开时，当确定详细描述可能不必要地使本公开的要点模糊时，省略对现有技术或配置的详细描述。另外，可以以各种不同形式修改以下实施例，并且本公开的技术思想的范围不限于以下实施例。提供这样的实施例以使本公开完整并将本公开的技术思想完全传达给本领域技术人员。
另外，除非另外指出，否则表述“包括”某个元素并不意味着排除其他元素，而是意味着还包括其他元素。此外，示意性地示出附图中的各种元素和区域。本公开的技术构思不受附图中示出的相对尺寸或间隔的限制。
本公开中所使用的表述“第一”、“第二”等可以表示各种元素，而与顺序和/或重要性无关，并且可以用于将一个元素与另一元素区分开来，而不限制所述元素。
应理解，如果将某元素(例如，第一元素)描述为“操作或通信地耦接于/到”或“连接到”另一元素(例如，第二元素)，那么该元素可以直接或通过又一元素(例如，第三元素)连接到该另一元素。另一方面，应理解，如果将某个元素(例如，第一元素)描述为“直接地耦接到”或者“直接地连接到”另一元素(例如，第二元素)，那么在该元素和所述另一元素之间不存在元素(例如，第三元素)。
而且，本公开中所使用的表述“(被)配置为”可以与诸如“适用于”、“具有…能力”、“(被)设计为”、“适于”、“(被) 制造为”或“能够”之类的其他表述互换使用。同时，就硬件而言，表述“(被)配置为”并不一定意味着设备“被专门设计为”。相反，表述“(被)配置为…的设备”可以意指该设备“能够”与另一设备或部件一起执行操作。例如，“(被)配置(或设置)为执行A、B 和C的处理器”可以意指用于执行相应操作的专用处理器(例如，嵌入式处理器)，或可以通过执行存储在存储设备中的一个或多个软件程序来执行相应操作的通用处理器(例如，CPU或应用处理器)。
在下文中，将参考附图详细描述本公开。
图1是用于描述根据本公开的实施例的电子设备的系统的视图。
参考图1，根据本公开的实施例的电子设备系统包括外部服务器 100、电子设备200和外部设备300。
如图1所示，电子设备200可以被实现为诸如智能电话的移动设备，但是不限于此，并且可以被实现为具有显示功能的各种设备，诸如PC、平板PC、PMP、PDA等。
如果电子设备200被实现为移动设备，则电子设备200可以被实现为包括触摸屏，以便通过使用手指或笔(例如，触笔)来执行程序。下文中，为了便于描述，通过假设将电子设备200实现为移动设备来进行描述。
当用户输入图像捕获命令时，电子设备200可以捕获图像，将关于在捕获图像时电子设备200所在的空间中播放的音乐的信息与已捕获的图像进行匹配，并且对它们进行存储。
如果在电子设备200所在的空间中播放的音乐是电子设备200经由流媒体账户(streaming account)播放的音乐，则电子设备200可以向外部服务器100请求关于当前播放的音乐的声源的信息。电子设备 200可以从外部服务器100接收关于声源的信息，将该信息与已捕获的图像匹配，并存储它们。
另外，如果在电子设备200所在的空间中播放的音乐是由与电子设备200配对的外部设备300(例如，蓝牙扬声器)播放的音乐，则电子设备200可以经由流媒体账户从外部服务器100接收关于所播放的音乐的声源信息。
如果在电子设备200所在的空间中播放的音乐是由与电子设备200相连的外部设备300播放的音乐，则电子设备200可以向外部设备300请求关于音乐的声源信息，将接收到的声源信息与已捕获的图像进行匹配，并且存储它们。
另外，如果在电子设备200所在的空间中播放的音乐是由未被连接到电子设备200的外部设备300播放的音乐，则电子设备200可以记录音乐，将该音乐发送到外部服务器100，并接收由外部服务器100 利用声源识别技术获得的关于声源的信息。电子设备200可以将通过外部服务器100接收的关于声源的信息与已捕获的图像进行匹配并且存储它们。
关于音乐的信息可以包括播放音乐的日期、包括该音乐的专辑的发行日期、专辑封面、艺术家信息、标题、流派、歌词、存储音乐的存储器的标记信息、能够播放该音乐的服务器的链接地址等。具体地，关于音乐的信息可以是关于在图像捕获时播放的音乐的特定部分的信息。即，电子设备200可以控制音频处理器280分析在图像捕获时播放的音乐的特定部分的波形(例如，FFT)。
电子设备200可以通过将图像与关于音乐的声源信息进行匹配来根据用户命令来再现存储在存储器210中的图像。具体地，电子设备200可以控制显示器225以显示包括与声源信息相匹配的图像和指示符的UI，并且在输入用于选择与指示符相对应的部分的用户命令时，电子设备200可以再现与已存储的声源信息相对应的音乐和图像。将参照图5和图6详细描述电子设备200再现已存储的图像的实施例。
图2是示出根据本公开的实施例的电子设备的配置的简略框图。
参考图2，电子设备200可以包括存储器210、相机220和处理器230。
相机220可以捕获图像。图像表示可以由相机220捕获的所有类型的内容。具体地，图像可以是各种内容，例如照片、视频、全景图片和广角摄影。此外，图像可以是GIF格式的动画GIF文件。
存储器210可以存储由相机220捕获的图像和各种内容及程序。具体地，存储器210可以存储通过将已捕获的图像与关于在捕获图像时电子设备200所在的空间中播放的音乐的声源信息进行匹配而获得的内容。另外，存储器210可以存储用户的朋友的个人信息。个人信息可以包括联系方式信息、与联系方式信息相匹配的个人信息、关于社交媒体账户的信息、要在脸部识别中使用的脸部识别信息等。具体地，存储器210可以存储能够由电子设备200播放的音乐，并且可以存储关于音乐的声源信息。将参考图3另外详细描述存储器210的配置。
处理器230可以执行电子设备200的总体功能。
具体地，当从用户接收到图像捕获命令时，处理器230可以控制相机220来捕获图像，并且可以获得关于在捕获图像时电子设备200 所在的空间中播放的音乐的声源信息。
通过处理器230获得关于音乐的信息的方法可以根据音乐是由电子设备200还是由外部设备300播放而改变。另外，即使音乐由外部设备300播放，该方法也可以根据外部设备300是与电子设备200相连的外部设备300还是不与其相连的外部设备300而改变。将参考图 3对此进行更详细地描述。
图2示出用于描述本公开的实施例所需要的基本部件，但是图1 的电子设备可以被实现为各种类型的设备。
图3是示出根据本公开的实施例的电子设备的配置的详细框图。
参照图3，电子设备200可以包括输入单元250、存储器210、显示器225、相机220、麦克风240、处理器230、通信器260、图像处理器270、音频处理器280和扬声器290。
输入单元250可以从用户接收各种命令。例如，输入单元250可以接收图像捕获命令以使电子设备200捕获图像。另外，输入单元250 可以接收用于在以下模式中捕获图像的命令：电子设备200可以将图像与关于在捕获图像时电子设备200所在的空间中播放的音乐的信息进行匹配，并将它们进行存储。此外，输入单元250可以接收用于执行图库应用的命令和用于执行音乐应用的命令。具体地，如果执行图库应用，则输入单元250可以接收用于选择关于图像的UI的命令，其中，该图像与音乐相匹配并且是已存储的。另外，如果执行音乐应用，则输入单元250可以接收用于选择已存储并与图像相匹配的音乐的UI的命令。
输入单元250可以配置有单独的按钮，或者可以被实现为包括在显示器225中。在下文中，为了便于描述，通过假设输入单元250被实现为包括在显示器225中来对其进行描述。
存储器210可以存储用于电子设备200的一般操作的各项数据，例如用于处理或控制处理器230的程序。存储器210可以存储在电子设备200中操作的多个应用程序或应用以及用于电子设备200的操作的多条数据和命令。可以经由无线通信从外部服务器100下载至少一些这样的应用程序。此外，电子设备200中可能在出厂时存在至少一些这样的应用程序，以便电子设备200的基本功能。应用程序可以存储在存储器210中，并且可以由处理器230操作以执行电子设备200 的操作(或功能)。
存储器210可以被实现为非易失性存储器、易失性存储器、闪存、硬盘驱动器(HDD)或固态驱动器(SSD)。存储器210可以由处理器230访问，并且可以通过处理器230来执行数据的读取、记录、编辑、删除或更新。在本公开中的术语“存储器”可以包括存储器210、处理器230中的RAM 231或ROM 232、或安装在电子设备200上的存储卡(未示出)(例如，微型SD卡或存储棒)。另外，存储器210 可以包括临时存储音乐内容的各项数据的缓冲区。
此外，存储器210可以存储用于构成要在显示器225的显示区域中显示的各种屏幕的程序和数据。具体地，存储器220可以存储关于当前再现的内容的元数据。存储器210可以以嵌入在电子设备200中的存储器的形式实现，或者根据数据存储目的以可从电子设备200拆卸的存储器的形式实现。例如，可以将用于操作电子设备200的数据存储在嵌入电子设备200的存储器中，可以将用于电子设备200的扩展功能的数据存储在与电子设备200可拆卸的存储器中。
如上所述，存储器210可以存储通过将已捕获的图像与关于在捕获图像时电子设备200所在的空间中播放的音乐的声源信息进行匹配而获得的内容。另外，存储器210可以存储用户的朋友的个人信息。个人信息可以包括联系方式信息、与联系方式信息相匹配的个人信息、关于与朋友的联系方式相关联的社交媒体账户的信息、要在脸部识别中使用的脸部识别信息等。具体地，存储器210可以存储能够由电子设备200播放的音乐，并且可以存储关于音乐的声源信息。
显示器225可以显示由电子设备200捕获的图像。另外，显示器 225可以显示UI，该UI包括已存储的并与音乐匹配的图像和对与音乐的匹配加以指示的指示符。
显示器225可以被实现为液晶显示器面板(LCD)、有机发光二极管(OLED)，但是不限于此。此外，在一些情况中，显示器225 可以被实现为柔性显示器或透明显示器。显示器225可以被实现为各种形式的显示面板。例如，显示面板可以用诸如液晶显示器(LCD)、有机发光二极管(OLED)、有源矩阵有机发光二极管(AM-OLED)、硅上液晶(LcoS)或数字光处理(DLP)等各种显示技术来实现。此外，显示器225可以与电子设备200的前部区域、侧部区域和后部区域中的至少一个组合作为柔性显示器类型。显示器225可以被实现为具有分层结构的触摸屏。除了显示功能之外，触摸屏可以还具有检测触摸输入位置和触摸区域以及甚至触摸输入压力的功能，并且还具有检测实际触摸和接近触摸的功能。
相机220是用于根据用户的控制来捕获图像的部件。相机220可以检测用于控制电子设备200的各种用户动作。
麦克风240可以记录由外部设备300播放的音乐。音频处理器280 可以通过分析由麦克风240记录的音乐的波形来去除噪声。
通信器260可以与外部服务器100进行通信。具体地，通信器260 可以将由麦克风240记录的音乐数据发送到外部服务器100，并且经由流媒体账户向外部服务器100请求关于由电子设备200播放的音乐的声源信息。因此，通信器260可以从外部服务器100接收关于音乐的声源信息。
通信器260可以与外部设备300通信，并请求关于由外部设备300 播放的音乐的声源信息。因此，通信器260可以从外部设备300接收关于音乐的声源信息。另外，通信器260可以与除电子设备200之外的电子设备建立通信，并经由社交媒体账户发送和接收关于与声源信息相匹配的图像的数据。
通信器260可以包括各种通信芯片，例如Wi-Fi芯片、蓝牙芯片、 NFC芯片和无线通信芯片。WiFi芯片、蓝牙芯片和NFC芯片中的每个通过WiFi方法、蓝牙方法和NFC方法来执行通信。其中，NFC芯片意指在近场通信(NFC)系统中使用诸如135kHz、13.56MHz、 433MHz、860MHz～960MHz和2.45GHz的各种RF-ID频带中的 13.56MHz频带来进行操作的芯片。在使用WiFi芯片或蓝牙芯片时，可以首先发送或接收各连接信息(例如SSID或会话密钥)，以允许通过使用这些信息的通信连接，然后可以发送和接收各信息。无线通信芯片意指基于各种通信标准(例如，IEEE、Zigbee、第三代(3G)、第三代合作伙伴计划(3GPP)和长期演进(LTE))执行通信的芯片。
扬声器290是除了由音频处理器280处理的各音频数据之外还输出各种警报或语音消息的部件。具体地，如果在显示器225上显示的内容是与音乐有关的内容，则扬声器290可以输出所播放的内容的声源。
处理器230是用于总体控制电子设备200的部件。当从用户接收到图像捕获命令时，处理器230可以控制相机220来捕获图像。处理器230可以获得关于在捕获图像时电子设备200所在的空间中播放的音乐的声源信息。在下文中，将参考各实施例描述用于获得关于音乐的声源信息的方法。
具体地，如果电子设备200和与电子设备200配对的外部设备300 播放存储在电子设备200中的音乐，则处理器230可以基于存储在存储器210中的关于音乐的标记信息来获得关于音乐的声源信息。与电子设备200配对的外部设备300可以是例如蓝牙扬声器，但是不限于此，并且外部设备300可以被实现为各种设备。
如果电子设备200和与电子设备200相连且配对的外部设备300 经由流媒体账户播放音乐，则处理器230可以控制通信器260来请求外部服务器100发送关于音乐的声源信息。因此，处理器230可以经由流媒体账户从外部服务器100获得关于所播放的音乐的声源信息。在这种情况下，关于音乐的声源信息可以是存在音乐的服务器的链接信息。
如果与电子设备200相连但未与之配对的外部设备300播放音乐，则处理器230可以控制通信器260请求外部设备300发送关于音乐的声源信息。处理器230可以经由通信器260从外部设备300获得关于音乐的声源信息。在这种情况下，外部设备300可以是人工智能扬声器，或者可以是能够播放音乐的各种设备，诸如冰箱、洗衣机等。在这种情况下，处理器230可以经由通信器260与外部服务器100通信以获得已获得的声源信息的链接信息。
如果没有与电子设备200相连的外部设备300播放音乐，则处理器230可以控制麦克风240来记录在电子设备200所在的空间中播放的音乐。处理器230可以控制通信器260将已记录的音乐发送到具有声源识别技术的外部服务器100。另外，处理器230可以经由通信器 260接收和获得关于由外部服务器100识别的音乐的声源信息。在这种情况下，关于音乐的声源信息可以是链接信息。
用于获得关于音乐的声源信息的方法不限于以上实施例，并且处理器230可以通过各种方法来获得声源信息。处理器230可以将通过各种方法获得的关于音乐的声源信息与已捕获的图像进行匹配，并将它们存储在存储器210中。
如果输入用于执行图库应用的用户命令，则处理器230可以执行图库应用并控制显示器225显示已存储的并与关于音乐的声源信息相匹配的图像的UI。另外，处理器230可以控制显示器225在已存储并与关于音乐的声源信息相匹配的图像的UI的一个区域中显示用于指示声源信息的匹配的指示符。
另外，如果用户输入用于选择显示有指示符的UI的命令，则处理器230可以控制显示器225在显示器225的屏幕上显示已存储的图像，并控制扬声器290基于关于已存储的并与该图像相匹配的音乐的声源信息输出音乐。将参考图5详细描述关于这一点的实施例。
处理器230可以包括CPU 234、RAM 231、ROM 232和系统总线 (没有用附图标记示出)。ROM 232是存储用于系统启动的命令集的部件，并且CPU 234根据被存储在ROM中的命令将存储在电子设备 200的存储器210中的操作系统复制到RAM 231，并且通过执行O/S 来启动系统。如果完成引导，那么CPU 234可以将存储器210中存储的各种应用复制到RAM 231中，并且通过执行所述应用来执行各种操作。在上文中，描述了处理器230仅包括一个CPU234，但是在实施方式中，可以包括多个CPU(或DSP、SoC)。
根据本公开的实施例，处理器230可以被实现为处理数字信号的数字信号处理器(DSP)、微处理器或时间控制器(TCON)。然而，本公开不限于此，并且处理器230可以包括中央处理单元(CPU)、微控制器单元(MCU)、微处理单元(MPU)、控制器、应用处理器 (AP)或通信处理器(CP)以及ARM处理器中的一个或多个，或者可以被定义为相应的术语。此外，处理器230可以被实现为包括处理算法的片上系统(SoC)或大规模集成(LSI)，或可以以现场可编程门阵列(FPGA)的形式实现。
图4至图7是用于描述本公开的各实施例的视图。
具体地，图4是用于描述根据本公开的实施例的图像捕获模式的视图。
图4示出电子设备200的显示器225的屏幕。电子设备200可以在显示器225的屏幕的一个区域中显示用于切换图像捕获模式的UI 410和UI 420。例如，如果选择示出最佳脸部420的UI，则电子设备 200可以将模式切换为用于捕获人的图像的最佳模式。
以相同的方式，如果选择被显示在显示器225的屏幕上的时刻 (moment)410的UI，则电子设备200可以将模式切换为用于获得关于在捕获图像时电子设备200所在的空间中播放的音乐的声源信息、将关于音乐的声源信息与已捕获的图像进行匹配、以及将它们进行存储的模式(为了便于描述，在下文中称为时刻模式)。
如果在时刻模式下输入用户的图像捕获命令，则电子设备200可以捕获图像。可以经由包括单独按钮的输入单元250或通过用于选择显示器225上显示的图像捕获UI的用户交互来执行用户的图像捕获命令。另外，用户的图像捕获命令可以是通过麦克风240接收的用户的语音命令，或者可以是通过相机220接收的用户的动作。
上述模式仅是示例，并且电子设备200可以显示用于将模式切换为各种类型的图像捕获模式的UI。例如，尽管未在附图中示出，但是如果选择了动画照片UI，则电子设备200可以将模式切换为用于捕获运动图像的最佳模式。
电子设备200可以将在时刻模式下捕获的图像存储在存储器210 中。电子设备200可以将由用户手动输入的信息与在时刻模式下捕获的图像一起存储在存储器210中。用户可以经由在显示器225上显示的文本输入UI(未示出)来输入信息，或者利用触笔来输入信息。另外，用户可以经由麦克风240以语音来输入信息。
电子设备200可以利用诸如图库应用、音乐应用等的各种应用来再现在时刻模式下捕获的图像。电子设备200可以利用在时刻模式下捕获的图像来再现由用户手动输入的信息。用于再现在时刻模式下捕获的图像的应用不限于此，并且可以以各种应用形式来实现。
图5和图6描述利用各种应用来再现在参考图4描述的时刻模式下捕获的图像的方法。
具体地，图5是用于描述根据本公开的实施例的用于在图库应用中再现已存储的并与音乐相匹配的图像的方法的视图。
图5示出电子设备200执行图库应用的状态。电子设备200可以在图库应用中显示存储在存储器210中的多个图像的UI。图5中的(a)、 (b)和(c)示出UI中所包括的图像是照片的情况，并且图5中的(d)、 (e)和(f)示出UI中所包括的图像是视频的情况。
在UI的示出已存储的并与关于音乐的声源信息相匹配的图像(为了便于描述，在下文中称为“时刻图像”)的一个区域中，电子设备 200可以显示指示该图像是时刻图像的指示符。即，如图5中的(a) 所示，电子设备200可以在UI 520的一个区域中显示指示符510，指示符510指示UI 520与在时刻模式下捕获的时刻图像有关。
如图5中的(b)所示，如果输入用于选择显示有指示符510的区域530的用户命令，则电子设备200可以再现包括UI 520的时刻图像。即，电子设备200可以在显示器225上再现时刻图像中所包括的照片，并且经由扬声器290输出时刻图像中所包括的音乐。如图5中的(c)所示，如果输入用于选择未显示指示符510的区域540的用户命令，则电子设备200可以再现UI 520中所包括的时刻图像的照片。即，电子没备200可以通过仅再现时刻图像中所包括的照片而不再现时刻图像中包括的音乐，来仅向用户提供没有音乐的照片。
以与上述相同的方式，如图5中的(d)所示，电子设备200可以显示指示符510，指示符510指示UI 550中包括的图像是时刻图像。如图5中的(e)所示，如果输入了用于选择显示有指示符510的区域 560的用户命令，则电子设备200可以在显示器225上再现UI 550中所包括的时刻图像的视频，并且经由扬声器290输出UI 550中所包括的时刻图像的音乐。另外，如图5中的(f)所示，如果输入用于选择未显示指示符510的区域570的用户命令，则电子设备200可以仅输出UI 550中所包括的时刻图像的视频。
在图5中的(b)和(e)的处理中的时刻图像的再现期间，电子设备200可以根据用户的交互来停止音乐的输出并且仅再现图像。以与上述相同的方式，在图5中的(c)和(f)的处理中的仅有图像的再现期间，电子设备200可以根据用户的交互来输出和播放音乐。例如，电子设备200可以根据用户两次轻敲显示图像的显示器225的用户交互来确定是否播放音乐。上述用户交互不限于此，并且可以利用用户的语音或用户的动作来执行。
当再现时刻图像时，电子设备200可以根据用户交互从在捕获时刻图像时播放的音乐的特定部分再现音乐。具体地，电子设备200可以不播放音乐的完整版本，而是可以基于关于存储在存储器210中的音乐的特定部分的波形的声源信息从其特定部分播放音乐。
根据上述实施例，存在以下效果：用户可以回想捕获图像时的记忆，同时倾听那时的音乐，并且用户可以减少再次搜索在捕获该图像时的音乐的工作量。
另外，电子设备200在以下方面是有利的：通过允许用户选择用于充分欣赏时刻图像的方法和仅欣赏时刻图像中所包括的图像的方法来改善用户体验。
电子设备200可以提供基于匹配的音乐来选择时刻图像的音乐应用，以及基于已捕获的图像来选择时刻图像的图库应用。
图6是用于描述根据本公开实施例的用于在音乐应用中播放与图像匹配的音乐的方法的视图。
图6示出电子设备200执行音乐应用610的状态。该图示出音乐应用610的名称是时刻的示例。然而，时刻只是示例，并且音乐应用可以被命名为任意名称。
参照图6中的(a)，当执行音乐应用610时，电子设备200可以在显示器225上显示包括时刻图像的UI 630和UI列表620。用户可以选择被包括在UI列表620中的多个UI 630中的一个，并且再现与对应的UI相对应的时刻图像。
图6中的(b)示出由用户从UI列表620中选择第一UI 630并将其显示在显示器225上。参照图6中的(b)，电子设备200可以显示用于选择对被包括在所选择的第一UI 630中的时刻图像进行再现(立即播放)、用于将时刻图像加入队列(加入队列)、或者编辑时刻图像(编辑)的弹出窗口。
如果用于选择显示“立即播放”的UI的用户命令，则电子设备200 可以再现时刻图像。如果输入用于选择显示“加入队列”的UI的用户命令，则电子设备200可以将相应的时刻图像添加到用于提供时刻的队列，使得用户稍后可以毫不费力地找到该时刻图像。如果输入用于选择示出“编辑”的UI的用户命令，则电子设备200可以根据用户交互来编辑或接收手动输入到时刻图像的信息，并且可以将各种效果应用于时刻图像中所包括的图像。
图6中的(c)是示出了从弹出窗口中选择“立即播放”项目以显示被包括在所选择的第一UI 630中的时刻图像的视图。参照图6中的(c)，电子设备200可以在显示器225上以全屏显示已存储的并与第一UI 630中所包括的第一音乐的声源信息相匹配的第一图像650。电子设备 200可以经由扬声器290播放与第一图像匹配的第一音乐。
第一音乐可以是与除了第一图像650之外的其他图像匹配的音乐。例如，用户可以在年终聚会上倾听第一音乐的同时捕获第一图像650，并且将第一图像650存储为第一时刻图像，并且可以在与该年终聚会不同的生日聚会中倾听该第一音乐同时捕获第二图像(未示出)，并将第二图像存储为第二时刻图像。
在这种情况下，电子设备200可以通过音乐应用610在显示器225 上再现与第一音乐匹配的第一图像650，然后电子设备200可以在第一图像650之后在显示器225上再现与第一音乐匹配的第二图像。此时，电子设备200可以以预定的时间间隔显示第一图像650和第二图像，或者通过以淡入和淡出的方式改变屏幕来显示第一图像650和第二图像。
电子设备200可以利用用户的语音命令来选择音乐。具体地，如果用户用语音输入捕获时刻图像的时间，则电子设备200可以基于关于存储在存储器210中的音乐的声源信息来再现已存储的并与音乐相匹配的时刻图像。例如，如果输入诸如“播放我昨晚听的音乐”的语音，则电子设备200可以基于被存储在存储器210中的声源信息经由扬声器290输出对应的音乐，并且在显示器225上依次再现已存储的并与所述音乐相匹配的至少一幅图像。
另外，如果用户在利用语音捕获时刻图像之后输入手动输入的信息的特征，则电子设备200可以基于存储在存储器210中的音乐的声源信息来再现已存储的并与该音乐匹配的时刻图像。例如，如果输入诸如“播放我在我女儿的生日聚会上听到的音乐”或“播放我在一个月前的聚会上听到的音乐”的语音，则电子设备200可以基于存储在存储器210中的声源信息经由扬声器290输出音乐，并且在显示器225 上依次再现已存储的并与所述音乐相匹配的至少一幅图像。
利用上述实施例，电子设备200可以向用户提供在听到第一音乐时回想起关于每次捕获与第一音乐匹配的多个图像的记忆的用户体验。
图7是示出电子设备识别图像中的脸部，并且经由社交媒体账户发送已存储的并与音乐的声源信息相匹配的图像的实施例的视图。
参照图7中的(a)，电子设备200可以在显示器225上显示包括人的时刻图像700。
参照图7中的(b)，电子设备200可以控制图像处理器270以识别图像700中人的脸部，从而在显示器225上显示指示识别出的脸部的指示符710和指示符711。
参照图7中的(c)，电子设备200可以显示UI 720和UI 730， UI 720和UI 730示出与指示符710和指示符711相对应的人的姓名。电子设备200可以基于存储在存储器210中的用户的朋友的脸部识别信息来识别朋友，并且经由UI 720和UI 730来显示在存储器210中存储的朋友的姓名。如果用户输入用于选择关于朋友的姓名的UI 720 和UI 730的命令，则电子设备200可以基于与存储器210中的朋友的联系方式相关联的社交媒体账户来控制通信器260，以将作为已存储的并与关于音乐的声源信息相匹配的图像的时刻图像700发送给该朋友的社交媒体账户。用于选择关于朋友的姓名的UI 720和UI 730的用户命令可以是利用触笔在显示器255上点击或语音输入。
当通过社交媒体发送时刻图像700时，电子设备200还可以发送包括语音或文本的消息。
电子设备200可以单独地提供出现在时刻图像中的人的列表(未示出)。在这种情况下，电子设备200可以基于时刻图像中所包括和存储的频率来排列人员列表，或者通过由用户对一些人应用优先级来排列该列表。如果输入用于从人员列表中选择具体人员的用户命令，则电子设备200可以依次再现包括该具体人员的时刻图像。
利用上述实施例，电子设备200可以提供用户能够毫不费力地与朋友分享在该时刻播放的音乐和当时的图像的用户体验。
图8是用于描述根据本公开的实施例的用于将由电子设备捕获的图像与关于音乐的声源信息进行匹配并将它们进行存储的方法的流程图。
参照图8，如果用户输入用于捕获图像的命令(S810)，则电子设备200可以利用相机220捕获图像(S820)。
电子设备200可以获得关于在电子设备200所在的空间中播放的音乐的声源信息(S830)，并将已捕获的图像与关于音乐的声源信息进行匹配并将其进行存储(S840)。
将参考图9更详细描述用于图8中描述的通过电子设备200获得声源信息的方法。
图9是用于描述根据本公开实施例的用于在各种情况下通过电子设备获得关于音乐的声源信息的方法的流程图。
如果用户输入用于捕获图像的命令(S910)，则电子设备200可以利用相机220捕获图像(S920)。电子设备200可以确定该命令是否是利用时刻应用(Moment App)进行图像捕获的命令(S930)，并且当确定该命令不是利用时刻应用进行图像捕获的命令时(S930-否)，电子设备200可以将已捕获的图像存储在存储器中(S940)。
当确定该命令是利用时刻应用进行图像捕获的命令时(S930-是)，电子设备200可以确定在电子设备所在的空间中是否播放了音乐 (S931)。当确定在电子设备所在的空间中未播放音乐时(S931-否)，电子设备200可以将已捕获的图像存储在存储器210中(S940)。
当确定在电子设备所在的空间中播放了音乐(S931-是)，并且电子设备200确定所播放的音乐是由电子设备200和与电子设备200配对且相连的外部设备300播放的音乐(S932-是)时，电子设备200 可以基于关于所播放的音乐的标记信息来获得关于音乐的声源信息。电子设备200可以将关于音乐的声源信息与已捕获的图像进行匹配，并将它们存储在存储器210中(S940)。
当确定在电子设备200所在的空间中播放的音乐不是由电子设备 200和与电子设备200配对的外部设备300播放的音乐时(S932-否)，但是电子设备200可以确定所播放的音乐是否是由与电子设备200相连但与外部设备300没有配对的外部设备300播放的音乐。当确定所播放的音乐是由与电子设备200相连的外部设备300播放的音乐时 (S935-是)，电子设备200可以向外部设备300请求关于音乐的声源信息并获得声源信息(S936)。然后，电子设备200可以将已获得的声源信息与已捕获的图像匹配(S934)并且将它们存储在存储器210 中(S940)。
当确定所播放的音乐是由未与电子设备200相连的外部设备300 播放的音乐时(S935-否)，电子设备200可以记录该音乐并将该音乐发送到外部服务器100(S937)。然后，电子设备200可以从外部服务器100获得声源信息(S938)，将已捕获的图像与已获得的声源信息进行匹配(S934)，并将它们存储在存储器210中。
根据上述实施例的设备或方法可以例如由至少一台计算机(例如，处理器)执行，该至少一台计算机(例如，处理器)执行在计算机可读存储介质中维护的程序中的至少一个程序所包括的指令。
如果由计算机(例如，处理器)执行指令，则至少一个计算机可以执行与所述指令相对应的功能。例如，计算机可读存储介质可以是存储器210。
程序可以被包括在计算机可读存储介质中，例如，硬盘、软盘、磁介质(例如，磁带)、光学介质(例如，压缩盘只读存储器(CD-ROM))、数字多用途盘(DVD)、磁光介质(例如，软光盘)、硬件设备(例如，只读存储器(ROM)、随机存取存储器(RAM)或闪存)。在这种情况下，存储介质通常可以被包括为电子设备200的配置的一部分，可以经由电子设备200的端口进行安装，或者可以被包括在位于电子设备200的外部的外部设备(例如，云、服务器或其他电子设备) 中。另外，程序可以被划分和存储在多个存储介质中，并且多个存储介质中的至少一些存储介质可以位于电子设备200的外部设备中。
指令可以包括由计算机使用解释器等执行的高级语言代码以及由编译器生成的机器语言代码。上述硬件设备可以被配置为操作作为一个或多个软件模块，以执行实施例的操作，且反之亦然。
上文中，示出并描述本公开的优选实施例，但是本公开不限于上述具体实施例，在不脱离权利要求中要求保护的本公开的要点的情况下，本领域技术人员可以做出各种修改，并且这些修改可以不是根据本公开的技术精神或前景单独理解的。

Claims (15)

1.一种控制电子设备的方法，所述方法包括：
基于从用户接收的图像捕获命令来捕获图像；
获得关于在捕获所述图像时所述电子设备所在的空间中播放的音乐的声源信息；
将关于所述音乐的声源信息与已捕获的图像进行匹配，并存储所述已捕获的图像和所述声源信息；以及
基于用户命令，执行音乐应用并显示UI列表，所述UI列表包括已存储的并与针对第一音乐的声源信息相匹配的一个或多个图像，所述用户命令包括输入了用于执行音乐应用的与所述第一音乐相对应的声源信息的至少一个特征。
2.根据权利要求1所述的方法，其中，所述获得包括：基于所述音乐是由所述电子设备播放的音乐，基于所述音乐的标记信息来获得关于所述音乐的所述声源信息。
3.根据权利要求1所述的方法，其中，所述获得包括：
基于所述音乐是由与所述电子设备相连的外部设备播放的音乐，向所述外部设备请求关于所述音乐的所述声源信息；以及
从所述外部设备接收关于所述音乐的声源信息。
4.根据权利要求1所述的方法，其中，所述获得包括：
基于所述音乐是由未与所述电子设备相连的外部设备播放的音乐，记录所播放的所述音乐并将所述音乐发送到外部服务器；以及
基于所述外部服务器通过声源识别技术获得关于所述音乐的声源信息，从所述外部服务器接收关于所述音乐的所述声源信息。
5.根据权利要求1所述的方法，还包括：
基于输入了用于执行图库应用的用户命令，执行所述图库应用并显示UI，所述UI包括已存储的并与关于所述音乐的声源信息相匹配的图像。
6.根据权利要求5所述的方法，还包括：
在包括已存储的并与所述声源信息相匹配的图像的所述UI的一个区域中显示用于指示所述声源信息是匹配的且是已存储的指示符。
7.根据权利要求6所述的方法，还包括：
基于在显示所述UI时输入了用于选择显示有所述指示符的区域的用户命令，显示在所述UI中包括的所述图像并基于关于已存储的且与所述图像相匹配的关于音乐的声源信息来播放所述音乐；以及
基于在显示所述UI时输入了用于选择没有显示所述指示符的区域的用户命令，显示在所述UI中包括的所述图像。
8.根据权利要求1所述的方法，还包括：
基于关于所述音乐的声源信息来显示UI列表；
基于输入了用于从所述UI列表中选择包括已存储的并与针对所述第一音乐的声源信息相匹配的第一图像在内的第一UI的用户命令，播放所述第一音乐并显示所述第一图像；以及
在所述第一图像之后再现第二UI的第二图像，所述第二UI包括已存储的并与针对所述第一音乐的声源信息相匹配的所述第二图像。
9.根据权利要求1所述的方法，还包括：
识别包括在所述图像中的人的脸部；
通过使用已识别出的脸部来获得社交媒体账户信息；以及
将已存储的并与关于所述音乐的声源信息相匹配的图像发送到所述社交媒体账户。
10.一种电子设备，包括：
相机；
存储器；
显示器；以及
处理器，被配置为：基于用户输入了图像捕获命令，控制所述相机捕获图像，获得关于在捕获所述图像时所述电子设备所在的空间中播放的音乐的声源信息，将关于所述音乐的声源信息与已捕获的图像进行匹配，并将已捕获的图像和所述声源信息存储在所述存储器中，并基于用户命令来执行音乐应用且控制所述显示器显示UI列表，所述UI列表包括已存储的并与针对第一音乐的声源信息相匹配的一个或多个图像，所述用户命令包括输入了用于执行音乐应用的与所述第一音乐相对应的声源信息的至少一个特征。
11.根据权利要求10所述的电子设备，其中，所述处理器被配置为：基于所述音乐是由所述电子设备播放的音乐，基于存储在所述存储器中的音乐的标记信息来获得关于所述音乐的所述声源信息。
12.根据权利要求10所述的电子设备，还包括：
包括电路的通信器，
其中所述处理器被配置为：基于所述音乐是由经由所述通信器与所述电子设备相连的外部设备播放的音乐，控制所述通信器向所述外部设备请求关于所述音乐的所述声源信息并从所述外部设备接收关于所述音乐的声源信息。
13.根据权利要求12所述的电子设备，还包括：
麦克风，
其中，所述处理器被配置为：
基于所述音乐是由未与所述电子设备相连的外部设备播放的音乐，控制所述麦克风记录所播放的所述音乐并将所述音乐发送到外部服务器，以及基于所述外部服务器通过声源识别技术获得关于所述音乐的所述声源信息，控制所述通信器从所述外部服务器接收关于所述音乐的声源信息。
14.根据权利要求10所述的电子设备，其中，所述处理器被配置为：基于输入了用于执行图库应用的用户命令，执行所述图库应用并控制所述显示器显示UI，所述UI包括已存储的并与关于所述音乐的声源信息相匹配的图像。
15.根据权利要求10所述的电子设备，其中，所述处理器被配置为：
基于输入了用于从所述UI列表中选择包括已存储的并与针对所述第一音乐的声源信息相匹配的第一图像在内的第一UI的用户命令，播放所述第一音乐并控制所述显示器显示所述第一图像；以及
控制所述显示器在所述第一图像之后再现第二UI的第二图像，所述第二UI包括已存储的并与针对所述第一音乐的声源信息相匹配的所述第二图像。
CN201880083517.8A 2017-12-29 2018-12-07 一种控制电子设备的方法及电子设备 Active CN111527746B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR1020170184432A KR20190081701A (ko) 2017-12-29 2017-12-29 사진촬영에 음악을 링크하는 전자 장치 및 이의 제어 방법
KR10-2017-0184432 2017-12-29
PCT/KR2018/015515 WO2019132306A1 (ko) 2017-12-29 2018-12-07 사진촬영에 음악을 링크하는 전자 장치 및 이의 제어 방법

Publications (2)

Publication Number Publication Date
CN111527746A CN111527746A (zh) 2020-08-11
CN111527746B true CN111527746B (zh) 2023-02-24

Family

ID=67067754

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880083517.8A Active CN111527746B (zh) 2017-12-29 2018-12-07 一种控制电子设备的方法及电子设备

Country Status (5)

Country Link
US (1) US11445144B2 (zh)
KR (1) KR20190081701A (zh)
CN (1) CN111527746B (zh)
DE (1) DE112018006727B4 (zh)
WO (1) WO2019132306A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10872115B2 (en) * 2018-03-19 2020-12-22 Motorola Mobility Llc Automatically associating an image with an audio track
WO2019205170A1 (zh) * 2018-04-28 2019-10-31 华为技术有限公司 一种拍照方法和终端设备
KR102579452B1 (ko) * 2018-09-05 2023-09-15 삼성전자주식회사 영상 표시 장치 및 그 동작방법
KR102493886B1 (ko) * 2021-03-24 2023-01-30 이병두 사진 촬영시의 분위기 정보를 저장하는 방법 및 그 재생 방법
JP7470726B2 (ja) * 2022-03-17 2024-04-18 本田技研工業株式会社 画像処理装置、及び、画像処理方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000076542A (ja) * 1998-06-17 2000-03-14 Digicube Co Ltd 音楽情報販売処理装置、音楽情報販売処理システム、音楽情報販売処理方法、および機械読み取り可能な記録媒体
JP2001292299A (ja) * 2000-04-07 2001-10-19 Canon Inc 情報処理装置並びに画像音声処理装置並びに情報処理装置の制御方法並びに画像音声処理装置の制御方法および記憶媒体

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005050315A (ja) 2004-06-28 2005-02-24 Nec Saitama Ltd 携帯端末
JP2006109151A (ja) 2004-10-06 2006-04-20 Olympus Corp 画像記録装置及び電子アルバム作成システム
JP2009117973A (ja) 2007-11-02 2009-05-28 Fujifilm Corp 再生装置および再生方法
KR101164081B1 (ko) 2009-10-01 2012-07-12 에스케이플래닛 주식회사 휴대단말 및 그의 주변 환경 인지를 통한 사용 환경 설정 방법
KR20110097151A (ko) 2010-02-24 2011-08-31 엘지전자 주식회사 정보 제공 장치 및 그 방법
KR101777354B1 (ko) 2011-06-20 2017-09-11 삼성전자주식회사 디지털 촬영 장치, 그 제어 방법, 및 상기 방법을 수행하기 위한 컴퓨터 판독가능 저장매체
US8942994B2 (en) 2012-02-09 2015-01-27 Aic Innovations Group, Inc. Method and apparatus for encouraging consumption of a product
US9020833B2 (en) * 2011-08-23 2015-04-28 Aic Innovations Group, Inc. Method and apparatus for social network updates by activity recognition
KR101997444B1 (ko) 2012-11-08 2019-07-08 엘지전자 주식회사 이동 단말기 및 이동 단말기 제어방법
US20140161263A1 (en) * 2012-12-10 2014-06-12 Microsoft Corporation Facilitating recognition of real-time content
KR102078136B1 (ko) * 2013-01-07 2020-02-17 삼성전자주식회사 오디오 데이터를 가지는 이미지를 촬영하기 위한 장치 및 방법
KR20150056160A (ko) 2013-11-15 2015-05-26 엘지전자 주식회사 음성 태깅 사진 서비스를 위한 단말기
KR20150121889A (ko) 2014-04-22 2015-10-30 에스케이플래닛 주식회사 재생 음악 관련 이미지 제공 장치 및 이를 이용한 방법
JP2015219717A (ja) 2014-05-16 2015-12-07 株式会社ニコン 電子機器及びプログラム
KR20170024866A (ko) 2015-08-26 2017-03-08 전자부품연구원 이벤트 영상 자동 생성 시스템
JP6038256B2 (ja) 2015-10-05 2016-12-07 オリンパス株式会社 画像検索システムおよび画像検索方法
KR20170054868A (ko) 2015-11-10 2017-05-18 삼성전자주식회사 콘텐트를 제공하는 방법 및 이를 지원하는 전자 장치
CN105447150B (zh) 2015-11-26 2019-04-16 小米科技有限责任公司 基于面孔相册的音乐播放方法、装置和终端设备
TWI633499B (zh) * 2017-06-22 2018-08-21 宏碁股份有限公司 全景影像的顯示方法及其電子裝置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000076542A (ja) * 1998-06-17 2000-03-14 Digicube Co Ltd 音楽情報販売処理装置、音楽情報販売処理システム、音楽情報販売処理方法、および機械読み取り可能な記録媒体
JP2001292299A (ja) * 2000-04-07 2001-10-19 Canon Inc 情報処理装置並びに画像音声処理装置並びに情報処理装置の制御方法並びに画像音声処理装置の制御方法および記憶媒体

Also Published As

Publication number Publication date
CN111527746A (zh) 2020-08-11
WO2019132306A1 (ko) 2019-07-04
KR20190081701A (ko) 2019-07-09
DE112018006727T5 (de) 2020-10-15
DE112018006727B4 (de) 2024-07-04
US20200329211A1 (en) 2020-10-15
US11445144B2 (en) 2022-09-13

Similar Documents

Publication Publication Date Title
CN111527746B (zh) 一种控制电子设备的方法及电子设备
JP7414842B2 (ja) コメント追加方法及び電子デバイス
US10659684B2 (en) Apparatus and method for providing dynamic panorama function
US9304608B2 (en) Stylus device
EP3195601B1 (en) Method of providing visual sound image and electronic device implementing the same
US9007524B2 (en) Techniques and apparatus for audio isolation in video processing
US20160328105A1 (en) Techniques to manage bookmarks for media files
RU2619089C2 (ru) Способ и устройство для воспроизведения множества видео
WO2016197708A1 (zh) 一种录音方法及终端
US20160292897A1 (en) Capturing Notes From Passive Recordings With Visual Content
KR20170054868A (ko) 콘텐트를 제공하는 방법 및 이를 지원하는 전자 장치
WO2023236794A1 (zh) 一种音轨标记方法及电子设备
CN106471493B (zh) 用于管理数据的方法和装置
CN104681049B (zh) 提示信息的显示方法及装置
WO2022179530A1 (zh) 一种视频配音的方法、相关设备以及计算机可读存储介质
JP2018005893A (ja) 動画を記録するためのプログラム、システム、及び方法
US20150363157A1 (en) Electrical device and associated operating method for displaying user interface related to a sound track
US11322184B1 (en) System and method for synchronizing media files with audio track
US20160293166A1 (en) Annotating Notes From Passive Recording With User Data
CN107591166B (zh) 一种录音标记与回放的方法和装置
JP6141495B1 (ja) 動画を記録するためのプログラム、システム、及び方法
CN115396723A (zh) 屏幕录制方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant