CN110945505A - 电子设备和控制电子设备的方法 - Google Patents

电子设备和控制电子设备的方法 Download PDF

Info

Publication number
CN110945505A
CN110945505A CN201880049170.5A CN201880049170A CN110945505A CN 110945505 A CN110945505 A CN 110945505A CN 201880049170 A CN201880049170 A CN 201880049170A CN 110945505 A CN110945505 A CN 110945505A
Authority
CN
China
Prior art keywords
image
electronic device
feature value
model
key
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880049170.5A
Other languages
English (en)
Other versions
CN110945505B (zh
Inventor
姜诚玟
韩兴宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Priority claimed from PCT/KR2018/008355 external-priority patent/WO2019022472A1/en
Publication of CN110945505A publication Critical patent/CN110945505A/zh
Application granted granted Critical
Publication of CN110945505B publication Critical patent/CN110945505B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/602—Providing cryptographic facilities or services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/44—Secrecy systems
    • H04N1/4406—Restricting access, e.g. according to user identity
    • H04N1/444—Restricting access, e.g. according to user identity to a particular document or image or part thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/45—Structures or tools for the administration of authentication
    • G06F21/46—Structures or tools for the administration of authentication by designing passwords or checking the strength of passwords
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0475—Generative networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/002—Image coding using neural networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/44—Secrecy systems
    • H04N1/4406—Restricting access, e.g. according to user identity
    • H04N1/4413—Restricting access, e.g. according to user identity involving the use of passwords, ID codes or the like, e.g. PIN
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2347—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving video stream encryption
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4405—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving video stream decryption
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Security & Cryptography (AREA)
  • Artificial Intelligence (AREA)
  • Signal Processing (AREA)
  • Evolutionary Computation (AREA)
  • Computer Hardware Design (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioethics (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Selective Calling Equipment (AREA)

Abstract

提供了一种用于控制电子设备的方法，该电子设备包括至少一个处理器，被配置为通过使用人工智能神经网络模型加密图像并将加密的图像上传到外部服务器。该方法包括：接收将图像上传到外部服务器的命令；基于命令，通过将图像和电子设备的密钥输入到被训练为基于输入图像和输入密钥识别特征值的神经网络模型中，获取与图像相对应的特征值；以及将图像的识别信息和特征值发送到外部服务器。

Description

电子设备和控制电子设备的方法
技术领域
本公开涉及一种电子设备及其控制方法，并且更具体地，涉及一种通过使用用户密钥对图像进行加密并且将加密图像上传到外部服务器的电子设备及其控制方法。
本公开还涉及一种使用机器学习算法模拟人脑功能(诸如识别和判断)的人工智能(AI)系统及其应用。
背景技术
近来，实现人工智能的人工智能系统已经在各个领域中使用。人工智能系统是其中机器学习、判断和变得智慧(smart)的系统，这与传统的基于规则的智慧系统不同。人工智能系统使用得越多，识别率越高，对用户偏好的理解就越好。
人工智能技术包括机器学习(例如，深度学习)和使用机器学习的元素技术。
机器学习是其自身对输入数据的特征进行分类/训练的算法技术。元素技术是一种使用机器学习算法(诸如深度学习)模拟诸如人脑的识别和判断的功能的技术，包括语言理解、视觉理解、推理/预测、知识表示、运动控制等。
人工智能技术可以应用于各种领域，下面描述其示例。语言理解是一种用于识别和应用/处理人类语言/字符的技术，包括自然语言处理、机器翻译、对话系统、查询响应、语音识别/合成等。视觉理解是一种用于识别和处理对象的技术，仿佛被人类感知那样，包括对象识别、对象跟踪、图像搜索、人类识别、场景理解、空间理解、图像增强等。
推断预测是一种用于判断以及逻辑地推断和预测信息的技术，包括基于知识/概率的推理、优化预测、偏好基础计划和推荐。知识表示是一种将人类经验信息自动化为知识数据的技术，包括知识构建(数据生成/分类)和知识管理(数据利用)。运动控制是用于控制车辆的自主行驶和机器人的运动的技术，包括运动控制(导航、碰撞和行驶)，操作控制(行为控制)等。
近来，随着通信技术的发展和高质量图像的容量的增加，由电子设备拍摄的图像不仅可以存储在电子设备中，而且可以存储在诸如云服务器的外部设备中。
在这种情况下，当将图像发送到诸如云服务器的外部设备时，由于黑客入侵(hacking)可能侵犯隐私，并且用于向外部设备发送高质量图像本身的时间和成本会增加。
因此，需要一种在向外部设备上传图像或从外部设备下载图像的过程中防止个人信息泄漏的同时上传小容量图像的方法。
发明内容
技术问题
实施例提供了一种电子设备及其控制方法，该电子设备在向外部服务器上传和从外部服务器上下载图像时能够防止个人信息的泄漏，并且通过使用用户密钥对图像进行加密和压缩来上传和下载压缩图像。
技术方案
根据本公开的一方面，提供一种用于控制电子设备的方法，所述电子设备包括至少一个处理器，所述至少一个处理器被配置为使用人工智能神经网络模型对图像进行加密并且将加密的图像上传到外部服务器，所述方法包括：接收将图像上传到外部服务器的命令；基于命令，通过将图像和电子设备的密钥输入到被训练为基于输入图像和输入密钥识别特征值的神经网络模型中，获取与图像相对应的特征值；以及将图像的识别信息和特征值发送到外部服务器。
电子设备的密钥可以是电子设备的密码和电子设备的识别信息当中的一个。
密钥可以是多个密钥中的一个，并且发送可以包括将与图像相对应的密钥的版本信息连同图像的识别信息和特征值一起发送到外部服务器。
所述方法还可以包括：基于命令获取与图像相对应的缩略图；匹配并存储缩略图和图像的识别信息；以及删除图像。
所述方法还可以包括：基于接收显示图像的显示命令提供缩略图。
外部服务器可以将图像的识别信息和特征值进行匹配和存储，基于特征值比较图像与另一图像之间的相似度，以及基于相似度对图像进行分类。
所述方法还可以包括：接收检索与关键字有关的图像的检索命令；向外部服务器发送请求，以请求与关键字有关的搜索；以及基于所述请求，从外部服务器接收对应于与关键字有关的至少一个搜索图像相对应的特征值，所述至少一个搜索图像是基于相似度比较而分类的图像中的至少一个。
所述方法还可以包括：通过将与至少一个搜索图像相对应的特征值和电子设备的密钥输入到解密模型来恢复至少一个搜索图像，所述解密模型被训练为通过使用与至少一个搜索图像相对应的特征值和密钥作为输入数据来恢复图像。
所述方法还可以包括：基于接收到接收与图像相对应的特征值的下载命令，将请求与图像相对应的特征值的请求信号发送到外部服务器；基于请求信号，从外部服务器接收与图像相对应的特征值；以及通过将与图像和电子设备的密钥相对应的特征值输入到解密模型来恢复图像，所述解密模型被训练为通过使用特征值和密钥来恢复图像。
所述接收可以包括：从外部服务器接收用于加密图像的电子设备的密钥的版本信息连同与图像相对应的特征值，所述恢复可以包括通过将与图像相对应的特征值和与版本信息相对应的电子设备的密钥输入解密模型来恢复图像。
根据本公开的另一方面，提供一种电子设备，通信器；显示器；存储器；以及处理器，被配置为控制与通信器、显示器和存储器电连接的电子设备，其中，处理器还被配置为：实现被训练为通过使用图像和密钥作为输入数据获取特征值的神经网络模型，以及用于执行电子设备操作的程序，根据命令获取将图像上传到外部服务器的输入信号；基于输入信号，通过将图像和电子设备的密钥输入到神经网络模型中，获取与图像相对应的特征值，以及控制通信器将图像的识别信息和特征值发送到外部服务器。
电子设备的密钥可以是电子设备的密码和电子设备的识别信息中的一个。
密钥可以是多个密钥中的一个，以及处理器还可以被配置为控制通信器将与图像相对应的密钥的版本信息连同图像的识别信息和特征值一起发送到外部服务器。
处理器还可以被配置为：基于命令获取与图像相对应的缩略图图像；对缩略图图像和图像的识别信息进行匹配并且存储在存储器中；以及从存储器删除图像。
处理器还可以被配置为：基于接收显示图像的显示命令控制显示器提供缩略图图像。
可以将图像的识别信息与外部服务器中的特征值进行匹配和存储，外部服务器可以基于特征值比较图像与另一图像之间的相似度，并且基于相似度对图像进行分类。
处理器还可以被配置为：根据检索与输入关键字有关的图像的检索命令获取输入信号；控制通信器将向外部服务器请求与关键字有关的搜索的请求信号发送到外部服务器，通过通信器从外部服务器接收对应于与关键字有关的至少一个搜索图像相对应的特征值，所述至少一个搜索图像是基于相似度比较而分类的图像中的至少一个。
处理器还可以被配置为：实施被训练为通过使用与特征值和密钥作为输入数据恢复图像的解密模型，并且通过将与至少一个搜索图像相对应的特征值和电子设备的密钥输入到解密模型中，恢复至少一个搜索图像。
处理器还可以被配置为：实现被训练为通过使用特征值和密钥作为输入数据恢复图像的解密模型，控制通信器基于接收与要接收的图像相对应的特征值的下载命令将请求与图像相对应的特征值的请求信号发送到外部服务器，通过通信器从外部服务器接收与图像相对应的特征值，并通过将与图像相对应的特征值和电子设备的密钥输入解密模型恢复该图像。
可以从外部服务器接收用于加密图像的电子设备的密钥的版本信息以及与图像相对应的特征值，并且处理器还可以被配置为通过将与图像相对应的特征值和与版本信息相对应的电子设备的密钥输入解密模型，恢复图像。
根据本公开的再一方面，提供了一种在体现有程序的非暂时性计算机可读记录介质，该程序在由包括至少一个处理器的电子设备的处理器执行时，通过使用人工智能神经网络模型对图像进行加密并将加密的图像上传到外部服务器，使处理器执行控制电子设备的方法，所述方法包括：接收将图像上传到外部服务器的命令；基于命令，通过将图像和电子设备的密钥输入到被训练为基于输入图像和输入密钥识别特征值的神经网络模型中，获取与图像相对应的特征值；以及将图像的识别信息和特征值发送到外部服务器。根据本公开的又一方面，提供了一种设备，包括：通信器；以及处理器，处理器被配置为控制设备以：实现神经网络模型，被训练为基于输入数据获取特征值，所述输入数据包括图像和密钥，获取将图像上传到外部服务器的上传命令，将图像和电子设备的密钥输入到神经网络模型中，从神经网络模型获取与图像和密钥相对应的特征值，并将图像和特征值提供给外部服务器。
有益效果
根据如上所述的本公开的各种实施例，当用户将电子设备获取的图像上传或下载到外部服务器时，可以防止个人信息泄露并且可以将小容量的图像存储在外部设备中。
附图说明
图1是说明根据实施例的通过使用用户密钥压缩和加密图像并将图像存储在外部服务器中的系统的视图；
图2是示出根据实施例的电子设备的配置的示意框图；
图3是示出根据实施例的电子设备的配置的详细示图；
图4A和图4B是示出根据实施例的用于加密图像的模块和用于解密图像的模块的框图；
图5A和图5B是说明根据实施例的训练的加密模型和训练的解密模型的示图；
图6A和图6B是说明根据实施例的用于生成输入到加密模型中的输入数据的方法的示图；
图7是示出根据实施例的外部服务器的配置的示意框图；
图8A和图8B是说明根据实施例的通过使用加密模型加密和上传图像的方法的示图；
图9A和图9B是说明根据实施例的通过使用解密模型下载和解密图像的方法的示图；
图10A和图10B是说明根据实施例的通过使用解密模型检索图像并对图像进行解密的方法的示图；
图11是说明根据实施例的通过使用加密模型加密图像并将图像上传到外部服务器的方法的流程图；
图12是示出根据实施例的用于训练和使用加密模型和解密模型的电子设备的配置的框图；
图13A、图13B和13C是示出根据实施例的训练单元、加密单元和解密单元的详细配置的框图；以及
图14和图15是说明根据各种实施例的使用加密模型或解密模型的网络系统的流程图。
具体实施方式
本公开不限于以下公开的实施例，并且可以以各种形式来实现，并且本公开的范围不限于以下实施例。另外，从权利要求及其等同物的含义和范围得出的所有改变或修改应被解释为包括在本公开的范围内。在整个附图的描述中，相同的附图标记表示相同的元件。
根据本公开，表述“包括”、“包含”表示存在或添加一个或多个组件、步骤、操作和元件，并且不排除存在附加特征。
当在元件列表之前时，诸如“…中的至少一个”的表述会修饰整个元件列表，而不修饰列表中的各个元件。例如，表述“a，b和c中的至少一个”应理解为包括仅a，仅b，仅c，a和b两者，a和c两者，b和c两者或a，b和c全部。
诸如“第一”和“第二”的术语可以使用相应的组件，而不管其重要性或顺序如何，并且用于区分一个组件和另一个组件，而不限制组件。
当元件(例如，第一组成元件)被称为与另一元件(例如，第二组成元件)“可操作地(或通信地)耦合”或“连接”/“可操作地(或通信地)耦合”或“连接”到另一元件(例如，第二组成元件)时，应理解为该元件“第二元件”间接地连接或耦合至另一元件，或者通过一个或多个中间元件(例如，第三组成元件)介于其间而连接或耦合至另一元件。然而，当元件(例如，第一组成元件)被称为“直接连接”或“直接耦合”到另一组成元件(例如，第二组成元件)时，可以理解，元件和另一元件之间不存在另一组成元件(例如，第三组成元件)。
根据各种实施例的电子设备可以是智能电话、平板PC、移动电话、视频电话、电子书阅读器、台式PC、膝上型PC、上网本计算机、工作站、服务器、PDA，便携式多媒体播放器(PMP)、MP3播放器、医疗设备、相机或可穿戴设备。可穿戴设备可以是附件类型(例如，手表、戒指、手镯、项链、一副眼镜、隐形眼镜或头戴式设备(HMD))，织物或服装集成类型(例如，电子服装)，身体附着类型(例如，皮肤垫或纹身)或生物可植入电路中的一个。在一些实施例中，电子设备可以是例如电视、数字视频盘(DVD)播放器、音频播放设备、冰箱、空调、真空吸尘器、烤箱、微波炉、洗衣机、机顶盒、家庭自动化控制面板、安全控制面板、媒体盒(例如，Samsung HomeSyncTM、Apple TVTM或Google TVTM)、游戏机(例如，XboxTM、PlayStationTM等)、电子词典、电子钥匙、便携式摄像机或数码相框。
在另一个实施例中，电子设备可以是各种医疗设备(例如，各种便携式医疗测量设备，诸如血糖仪、心率仪、血压仪或温度测量设备、磁共振血管造影(MRA)、磁共振成像(MRI)、计算机断层扫描(CT)，相机或超声设备)，导航系统，全球导航卫星系统(GNSS)，事件数据记录器(EDR)，飞行数据记录器(FDR)，汽车信息娱乐设备，船舶电子设备(例如，船舶导航设备，陀螺罗盘等)，航空电子设备，安全设备，车辆主机，工业或家用机器人，无人机，金融机构的自动柜员机(ATM)，销售点(POS)或物联网设备(例如，灯泡、各种传感器、洒水设备、火灾警报器、恒温器、路灯、烤面包机、健身设备、热水箱、加热器、锅炉等)。
根据一个实施例，外部服务器可以体现为用于存储图像的云服务器、云设备、外部存储设备，上述电子设备等。
根据本公开，术语“用户”可以是指使用电子设备的人或使用电子设备的设备(例如，人工智能电子设备)。
图1是说明根据实施例的用于通过使用用户密钥压缩和加密图像并将图像存储在外部服务器中的系统的视图。系统可以包括第一电子设备100-1、第二电子设备100-2和服务器200。第一电子设备100-1和第二电子设备100-2可以由同一用户使用，但是目前本公开不限于此。第一电子设备100-1和第二电子设备100-2可以相同。换句话说，单个电子设备可以上传和下载图像。
第一电子设备100-1可以获得图像。图像可以由第一电子设备100-1拍摄，但是本公开不限于此。图像可以是从另一电子设备接收的图像、从网站下载的图像等。
第一电子设备100-1可以接收用于将图像上传到服务器200的用户命令。第一电子设备100-1可以通过菜单项接收用于上传图像的用户命令，但是本公开不限于此。第一电子设备100-1可以通过各种用户输入接收用于将图像上传到服务器200的用户命令。
第一电子设备100-1可以获取用于加密和压缩图像的第一电子设备100-1的用户密钥。用户密钥可以是电子设备的识别信息(例如，电子设备的序列号、国际移动设备标识(IMEI)信息等)，但是本公开不限于此。用户密钥可以是用户输入的密码。用户密钥可以是电子设备的识别信息和用户输入的密码的组合。用户输入的密码可以是用户最初输入的密码。然而，密码可以在每次发送图像时或以预定时间周期改变。
第一电子设备100-1可以响应于用于上传图像的用户命令，通过使用图像和用户密钥来获取用于上传图像到服务器200的特征值。第一电子设备100-1可以通过将获取的图像和第一电子设备100-1的用户密钥输入到加密模型来获取所获取的图像的特征值，该加密模型被训练为通过使用图像和用户密钥作为输入数据来获取特征值。加密模型可以是深度神经网络模型，但是本公开不限于此。加密模型可以通过使用图像和用户密钥来加密图像，但是同时压缩图像，因此，加密模型可以被称为压缩模型。
特征值可以是通过将图像和用户密钥作为输入通过受过训练的神经网络而提取的图像表示值，并且可以用于诸如属性值、特征向量、特征信息等的各种术语中。可以通过深度神经网络模型的表示学习获得特征值。
仅当必须使用用于对图像进行加密的特征值和用户密钥两者时，才可以将通过将图像和用户密钥输入到加密模型中而获得的特征值解密为正常图像。仅当特征值被输入到解密模型中时，通过将图像和用户密钥输入到加密模型中而获得的特征值可能不会被解密为正常图像。因此，可以并行地训练加密模型和解密模型。解密模型可以将压缩图像恢复为正常图像，因此，解密模型可以被称为恢复模型。
第一电子设备100-1可以将获取的特征值上传到服务器200。第一电子设备100-1可以将获取的特征值与获取的图像的识别信息(例如，图像名称、图像生成日期、图像生成位置等)一起发送到服务器200。第一电子设备100-1可以将获取的特征值和获取的图像的识别信息发送到服务器200，并生成与图像相对应的缩略图。在这种情况下，原始图像可能会被删除。
服务器200可以存储和管理从第一电子设备100-1接收的特征值。服务器200可以匹配和存储从第一电子设备100-1获取的特征值和获取的图像的识别信息。服务器200可以基于特征值来比较获取的图像和另一图像之间的相似度，并且可以基于相似度比较对获取的图像进行分类。服务器200可以以向量形式将与获取的图像相对应的特征值分类。服务器200可以向用户提供根据第一电子设备100-1或第二电子设备100-2的关键字或图像搜索请求获取的图像。
第二电子设备100-2可以接收关于从用户获得的图像的下载命令。第二电子设备100-2可以通过菜单项接收用于下载图像的用户命令，但是本公开不限于此。第二电子设备100-2可以通过各种用户输入接收用于从服务器200下载图像的用户命令。
第二电子设备100-2可以响应于下载命令将用于下载获取的图像的请求发送到服务器200。下载请求可以包括获取的图像的识别信息。
服务器200可以基于获取的图像的识别信息获取与获取的图像相对应的特征值，并且将检索的特征值发送到第二电子设备100-2。
第二电子设备100-2可以通过使用从服务器200接收的特征值和第二电子设备100-2的用户密钥来恢复获取的图像。第二电子设备100-2可以通过将从服务器200接收的特征值和第二电子设备100-2的用户密钥输入到被训练为使用特征值和用户密钥作为输入数据获取图像的解密模型中来恢复获取的图像。即使第一电子设备100-1的用户密钥和第二电子设备100-2的用户密钥相同，也可以正确地恢复图像。
可以考虑模型的应用领域或电子设备的计算机性能来构造加密模型和解密模型。例如，可以将训练的加密模型设置为通过使用用户密钥和图像作为输入数据来获取特征值，并且可以将训练的解密模型设置为通过使用用户密钥和特征值作为输入来恢复图像数据。用于训练加密模型的用户密钥和用于训练解密模型的用户密钥可以相同。为了使用用户密钥生成与图像相对应的特征值并使用生成的特征值恢复图像，训练的加密模型和解密模型可以是例如基于神经网络的模型。加密模型和解密模型可以包括多个加权网络节点，其可以被设计为模拟计算机中的人脑结构并模拟人神经网络的神经元。多个网络节点可以各自建立连接关系，使得神经元模拟通过突触发送和接收信号的神经元的突触活动。另外，加密模型和解密模型可以包括例如神经网络模型或从神经网络模型发展的深度学习模型。在深度学习模型中，多个网络节点可以位于不同的深度(或层)，并且可以根据卷积连接关系交换数据。加密模型和解密模型的示例可以是深度神经网络(DNN)、递归神经网络(RNN)和双向递归深度神经网络(BRDNN)，但是本公开不限于此。
第一电子设备100-1和第二电子设备100-2可以使用人工智能代理来加密由用户选择的图像作为特征值，并将该图像上传到服务器200，并从服务器200下载特征值并将特征值恢复为图像。人工智能代理可以是仅用于提供由通用处理器(例如，中央处理器(CPU))或单独人工智能(AI)的专用处理器(例如，GPU等)执行的基于AI的服务(例如，语音识别服务、秘书服务、翻译服务、搜索服务等)的程序。特别地，人工智能代理可以控制下面将要描述的各种模块。
基于接收到用于上传图像的用户输入或用于下载图像的用户输入，可以操作人工智能代理。人工智能代理可以基于用户输入将图像加密为特征值，并将特征值上传到外部服务器200，或者下载存储在外部服务器200中的特征值，并将特征值恢复为图像。
人工智能代理可以基于用于上传图像的用户输入或用于下载图像的用户输入进行操作。可以在接收到用于上传图像的用户输入或用于下载图像的用户输入之前执行人工智能代理。在这种情况下，在接收到用于上传图像的用户输入或用于下载图像的用户输入之后，人工智能代理可以将图像加密为特征值并上传特征值或下载特征值并将特征值恢复成图像。
在接收到用于上传图像的用户输入或用于下载图像的用户输入之前，人工智能代理可以处于待机状态。待机状态可以是可以检测接收到预定义的用于控制人工智能代理的操作开始的用户输入的状态。在人工智能代理处于待机状态时，当接收到用于上传图像的用户输入或用于下载图像的用户输入时，第一电子设备100-1或第二电子设备100-2可以操作人工智能代理，将图像加密为特征值并上传特征值或下载特征值并将其恢复为图像。人工智能代理可以控制下面将描述的各种模块。下面将对其进行详细描述。
下面将描述使用训练的加密模型或训练的解密模型上传或下载图像的电子设备的示例。
图2是示出根据实施例的电子设备的配置的示意框图。如图2所示，电子设备100可以包括通信器110、显示器120、存储器130和处理器140。图2是示出用于实现实施例的配置的示例性示图，并且对于本领域技术人员而言明显的硬件/软件配置可以进一步包括在电子设备100中。
通信器110可以是根据各种通信方法与外部设备或外部服务器通信的收发器(发送器和接收器)或通信接口。通信器110可以响应于用户的图像上传请求将与图像相对应的特征值发送到外部服务器，并且响应于用户的图像下载请求从外部服务器接收与图像相对应的特征值。
显示器120可以提供各种屏幕。显示器120可以显示包括至少一个图像(例如，图片)的屏幕。显示器120可以显示用于接收各种用户命令(诸如图像上传命令、图像下载命令、图像搜索命令等)的用户界面(UI)。
存储器130可以存储用于执行电子设备100的操作的各种程序和数据。存储器130可以加密模型和解密模型中的至少一个，加密模型被训练为使用特征值和用户密钥作为输入数据获取关于图像的特征值，解密模型被训练为使用特征值和用户密钥作为输入数据恢复图像。存储器130可以包括如图4A和图4B所示的加密模块410和解密模块420。下面将参照图4A和图4B进行其详细描述。
处理器140可以电连接到通信器110、显示器120和存储器130，并控制电子设备100的整体操作和功能。处理器140可以通过加密模块410将图像加密成特征值并将特征值上传到外部服务器。基于接收到根据用于将获取的图像上传到外部服务器200的用户命令的输入信号，处理器140可以通过响应于输入信号将获取的图像和电子设备的用户密钥输入到加密模块来获取与获取的图像相对应的特征值，并控制通信器110将获取的图像的识别信息和特征值发送到外部服务器200。
处理器140可以通过解密模块420将从外部服务器下载的特征值解密为图像。当接收到根据用户命令的用于下载与上传到外部服务器200的图像相对应的特征值的输入信号时，处理器140可以响应于输入信号向外部服务器200请求特征值，从通信器110接收特征值，并且通过将接收的特征值和用户密钥输入到解密模型422中恢复与特征值相对应的图像。
图3是示出根据实施例的电子设备的配置的详细视图。参照图3，电子设备100可以包括通信器110、显示器120、存储器130、处理器140、用户输入接口150、音频输出接口160和相机170。
通信器110可以根据各种类型的通信方法执行与各种类型的外部设备的通信。通信器110可以包括Wi-Fi芯片111、蓝牙芯片112、无线通信芯片113和近场通信(NFC)芯片114中的至少一个。处理器140可以通过使用通信器110与外部服务器或各种外部服务器进行通信。通信器110可以与外部云服务器执行通信。
显示器120可以在显示区域(或显示器)上显示由图像处理器处理的图像数据。显示区域可以是在电子设备100的壳体的一个表面上暴露的显示器120的至少一部分。
显示器120的至少一部分可以以柔性显示器的形式设置在电子设备100的前表面区域、侧表面区域和后表面区域中的至少一个上。柔性显示器可以是薄且柔性的基板，其可以像一页纸一样折弯、弯曲和卷起而没有损坏。
显示器120可以与触摸面板结合并且被体现为具有层结构的触摸屏。触摸屏除了被配置为检测真实触摸和接近触摸的功能之外，还可以用作显示器，同时被配置为检测触摸输入位置、触摸区域和触摸输入压力。
存储器130可以存储与电子设备100的至少一个其他组件有关的指令或数据。特别地，存储器130可以被实现为非易失性存储器、易失性存储器、闪存、硬盘驱动器(HDD)或固态驱动器(SSD)。存储器130可以由处理器140访问，并且处理器140可以读取/写入/修改/删除/更新数据。本公开中的术语“存储器”可以包括存储器130、处理器140中的只读存储器(ROM)和随机存取存储器(RAM)或附接到电子设备100的存储卡(例如，微型SD卡、记忆棒)。此外，存储器130可以存储要在显示器120的显示区域上显示的各种屏幕的程序和数据。
用户输入接口150可以接收各种用户输入，并将各种用户输入发送到处理器140。特别地，用户输入接口150可以包括触摸传感器、笔传感器(诸如数字笔传感器)、压力传感器或键。触摸传感器可以使用例如静电型、压敏型、红外型和超声型中的至少一个。(数字)笔传感器可以是例如触摸面板的一部分，或者可以包括单独的识别片。该键可以包括例如物理按钮、光学键或小键盘。
用户输入接口150可以根据用于上传图像的用户输入或用于下载图像的用户输入获取输入信号。用户输入接口150可以将输入信号发送到处理器140。
音频输出接口160除了可以在由音频处理器执行解码，放大，噪声过滤等的各种音频数据之外，还可以输出各种警报声音和语音消息。音频输出接口160可以被实现为扬声器，但是本公开不限于此。音频输出接口160可以体现为输出音频数据的输出端子。
相机170可以通过镜头拍摄图像。相机170可以设置在电子设备100的前面或后面。相机170可以体现在电子设备100中，但是本公开不限于此。相机170可以设置在电子设备100的外部并且以有线或无线方式连接到电子设备100。
处理器140(或控制器)可以是硬件处理器，并且使用存储在存储器130中的各种程序控制电子设备1100的整体操作。
处理器140可以包括RAM 141、ROM 142、图形处理器143、主CPU 144、第一至n接口145-1至145-n和总线146。RAM 141、ROM 142、图形处理器143、主CPU 144、第一至n接口145-1至145-n等可以经由总线146彼此连接。
图4A是示出根据实施例的用于对图像进行加密的加密模块410的框图，图4B是示出用于对图像进行解密的解密模块420的框图。电子设备100可以包括加密模块410和解密模块420，但是本公开不限于此。电子设备100可以仅包括加密模块410和解密模块420中的一个。
加密模块410可以包括图像获取模块411、图像加密模块412、加密模型413、用户密钥管理模块414和缩略图图像生成模块415。
图像获取模块411可以从电子设备100获取要上传到外部服务器200的图像。图像获取模块411可以获取由相机170拍摄的图像、从外部电子设备发送的图像以及从网站下载的图像。
图像加密模块412可以通过使用加密模型413加密图像。加密模型413可以是被训练为通过使用图像510和用户密钥520作为输入数据获取特征值530的模型，如图5A所示。加密模型413可以是卷积神经网络(CNN)，但是不限于此。加密模型413可以使用各种神经网络，诸如生成对抗网络(GAN)、深度神经网络(DNN)、递归神经网络(RNN)、双向递归深度神经网络(BRDNN)等。
图像加密模块412可以通过使用图像和用户密钥生成输入数据。图像加密模块412可以以各种方式通过使用图像和用户密钥生成输入数据。
例如，如图6A所示，图像加密模块412可以处理具有宽度和高度的三个通道(诸如红色，绿色和蓝色(RGB))的图像610，以及具有宽度和高度的N个通道的用户密钥620。图像加密模块412可以通过将三个通道的图像610和N个通道的用户密钥620级联生成具有(N+3)个通道的输入数据630。图像加密模块412可以通过将图像610的通道和用户密钥620的通道级联生成输入数据630。
对于另一个示例，如图6B所示，图像加密模块412可以处理具有宽度和高度的三个通道(RGB)的图像610以及具有宽度和高度的一个通道的用户密钥640。图像加密模块412可以通过将三个通道的图像610的像素与一个通道的用户密钥640的像素相加生成具有三个通道的输入数据650。图像加密模块412可以通过将图像610的像素值和用户密钥640的像素值相加生成输入数据650。
神经网络的结构和设定值可以分别根据图6A和图6B中描述的实施例改变。换句话说，根据输入数据的类型，可以改变神经网络的输入数据大小、构成神经网络的层数、每层的内核大小和通道数、池化层数、池化大小、是否应用跳过连接以及是否应用中间功能和自上而下功能。
图像加密模块412可以将生成的输入数据输入到包括多个层的加密模型413。通过重复多个层的计算，可以将输入数据提取为具有较小尺寸的特征值。换句话说，可以通过经过第一层将输入数据计算为第一特征值，可以通过经过第二层将输入数据计算为第二特征值，并且可以通过经过池化层将第二特征值计算为具有较小尺寸的第三特征值。通过重复以上步骤，可以通过经过N层来将输入数据计算为具有减小的尺寸的最终特性值。
图像加密模块412可以获取通过使输入数据630或650经过多层而计算出的特征值530。获取的特征值530可以通过多个层被加密。换句话说，如果没有用户密钥，则获取的特征值530可能不会恢复为原始图像。由于通过经过池化层减小了特征值的大小，因此与先前的图像相比，可以压缩获取的特征值530。
用户密钥管理模块414可以管理用户密钥。具体地，当用户密钥是电子设备100的识别信息(例如，序列号、IMEI信息等)时，可以不改变用户密钥。然而，当用户密钥是用户直接输入的密码时，可以周期性地或非周期性地改变用户密钥。因此，用户密钥管理模块414可以管理关于由用户改变的用户密钥的版本信息。当将特征值加密到图像中时，用户密钥管理模块414可以管理改变的用户密钥的历史并使用改变的用户密钥。
根据另一实施例，当改变用户密钥时，图像加密模块413可以使用改变后用户密钥再次对先前加密的图像进行加密，并将加密的图像发送到外部服务器。
缩略图图像生成模块415可以生成与加密图像相对应的缩略图图像。加密图像可以被压缩后上传到服务器200，因此电子设备100可能不需要存储大容量图像。因此，缩略图图像生成模块415可以生成与加密图像相对应的低容量缩略图图像，匹配并存储生成的缩略图图像和图像的识别信息。
缩略图图像生成模块415可以对构成图像的像素进行分组，并且基于包括在组中的像素的代表值(例如，平均值、中值、模式值等)生成缩略图图像。例如，当加密的图像被发送到服务器200并且缩略图图像生成模块415生成缩略图图像时，原始图像可以被删除。
基于从用户接收到用于显示低分辨率图像的请求，电子设备100可以检索由缩略图图像生成模块415生成的缩略图图像并将图像提供给用户，并且基于从用户接收到用于显示高分辨率图像的请求，电子设备100可以下载存储在外部服务器200中的特征值，将下载的特征值输入解密模块，将特征值恢复为图像并将图像提供给用户。
参照图4B，解密模块420可以包括图像解密模块421、解密模型422和图像提供模块423。
图像解密模块421可以通过使用解密模型422将从外部服务器200接收的特征值恢复为原始图像。解密模型422可以是被训练为通过使用特征值和用户密钥作为输入数据恢复图像的模型。
参照图5B，解密模型422可以是被训练为通过使用特征值530和用户密钥520作为输入数据获取图像510的模型。解密模型422可以体现为反卷积神经网络。反卷积神经网络可以从用作加密模型413的卷积神经网络进行镜像，并使用去池化(unpool)层而不是池化层。反卷积神经网络可以存储每个像素位置值，并通过使用存储的像素位置值执行去池化操作。可以与用作加密模型413的卷积神经网络并行地训练在本公开中用作解密模型422的反卷积神经网络。
解密模型422可以使用反卷积神经网络，但是本公开不限于此。解密模型422可以使用诸如生成对抗网络(GAN)的另一神经网络。当GAN用于恢复图像时，电子设备100可以恢复比原始图像更高分辨率的图像。
图像解密模块421可以将从服务器200下载的特征值530和用户密钥520作为输入数据输入到训练的解密模型422中，并恢复图像510。
图像提供模块423可以将恢复的图像提供给用户。图像提供模块423可以在全屏中提供恢复的图像，但是不限于此，并且可以在诸如画中画(PIP)屏幕的各种屏幕中提供恢复的图像。图像提供模块423可以将恢复的图像存储在电子设备100的存储器130中。
图7是示出根据实施例的外部服务器的配置的示意框图。参照图7，服务器200可以包括通信器210、存储器220和处理器230。
通信器210可以是与外部电子设备通信的收发器(发送器和接收器)或通信接口。通信器210可以从外部电子设备100接收图像的识别信息和图像的特征值。通信器210可以响应于搜索请求或下载请求将特征值发送到外部电子设备100。
存储器220可以匹配并存储从外部电子设备100接收的图像的识别信息和图像的特征值。存储器220可以将图像的相似度的信息以及图像的识别信息和图像的特征值一起存储。
处理器230可以控制服务器200的整体操作。基于从电子设备100接收到图像的识别信息和图像的特征值，处理器230可以将图像的识别信息与图像的特征值进行匹配并将结果存储在存储器220中。基于进一步从电子设备100接收与多个用户密钥中的与获取的图像相对应的用户密钥的版本信息，处理器230还可以存储用户密钥的版本信息。
处理器230可以基于特征值比较获取的图像和另一图像之间的相似度，并且可以基于相似度比较对获取的图像进行分类。处理器230可以存储每个相似度的特征值。
基于从电子设备100接收到包括图像的识别信息的图像下载请求，处理器230可以基于图像的识别信息检索要下载的图像的特征值。处理器230可以控制通信器210将检索的图像的特征值发送到电子设备100。
处理器230可以仅将检索的图像的特征值发送到电子设备100，但是本公开不限于此。处理器230可以控制通信器210将检索的图像的特征值以及用户密钥的版本信息一起发送。
基于从电子设备100接收到包括图像的特征值或关键字的图像搜索请求，处理器230可以基于图像相似度检索与接收的图像的特征值或关键字有关的搜索图像。
图8A和图8B是说明根据实施例的用于通过使用加密模型加密和上传图像的方法的视图。
在步骤S810，电子设备100可以接收关于图像的上传命令。参照图8B的(a)，电子设备100可以显示包括多个图像的应用屏幕。多个图像可以是由相机170拍摄的图像，但是本公开不限于此。图像可以是各种图像，诸如从外部设备接收的图像、从网站下载的图像、电子设备100的捕获屏幕等。基于用于选择接收的多个图像中的一个的用户命令，电子设备100可以在选择的图像的外围显示菜单880，如图8B的(b)所示。基于在菜单880中的项目中被选择的项目“云存储”，电子设备100可以接收用于将选择的图像存储在外部云服务器200中的图像上传命令。如上所述，电子设备100可以接收使用菜单880的图像上传命令，但是本公开不限于此。电子设备100可以以各种方式接收关于图像的上传命令。例如，当选择电子设备100中包括的预设按钮(例如，用于执行人工智能程序的按钮)并且输入用于上传图像的命令时，电子设备100可以接收图像上传命令。
在步骤S820，电子设备100可以响应于对图像的上传命令获取用户密钥。电子设备100可以获取电子设备100的识别信息作为用户密钥，并且获取由用户设置的密码作为用户密钥。用户设置的密码可以是用于上传图像的应用的密码，以及用于选择的图像的密码。电子设备100可以基于电子设备100的识别信息和用户设置的密码生成新值。
在步骤S830，电子设备100可以通过将图像和用户密钥输入到加密模型中获取特征值。电子设备100可以通过使用图像和用户密钥生成输入数据，并且可以通过将生成的输入数据输入到加密模型中获取与图像相对应的特征值。
在步骤S840，电子设备100可以将识别信息和图像的特征值发送到服务器200。图像识别信息可以是诸如图像名称、图像生成日期、图像生成位置等的各种信息。电子设备100可以发送图像的识别信息和特征值，但是本公开不限于此。对此，电子设备100可以发送用户密钥的识别信息、特征值和版本信息。
在步骤S850，电子设备100可以在将识别信息和图像的特征值发送到外部服务器200之后生成缩略图图像。电子设备100可以在外部服务器200中压缩并存储高分辨率的图像，并在外部服务器200中生成并存储低分辨率的缩略图。电子设备100可以匹配并存储低分辨率的缩略图图像和图像的识别信息。
在步骤S860，服务器200可以匹配并存储从电子设备100接收的图像识别信息和特征值。服务器200可以将用户密钥的版本信息以及图像识别信息和特征值一起存储。
在步骤S870，服务器200可以基于特征值的相似度比较对图像进行分类。服务器200可以基于向量表示的特征值执行相似度比较，并且通过特征空间中的分类器对图像进行分类并管理图像。通过对图像进行分类和管理，可以在以后搜索图像时基于特征值搜索图像。
图9A和图9B是说明根据实施例的用于通过使用解密模型下载和解密图像的方法的视图。
在步骤S910，电子设备100可以接收图像下载命令。参照图9B的(a)，电子设备100可以显示与存储在服务器200中的多个图像相对应的缩略图。缩略图可以是在图8A的步骤S850中生成的缩略图。当选择了多个缩略图图像中的一个时，如图9B的(b)所示，电子设备100可以在选择的缩略图图像的外围显示菜单970。当在菜单970上显示的项目中选择“下载”项目时，电子设备100可以接收图像下载命令。然而，如上所述，通过菜单970接收图像下载命令仅是示例实施例，但是电子设备100可以使用另一种方法接收图像下载命令。
在步骤S920，电子设备100可以将对与选择的缩略图图像相对应的图像的下载请求信号发送到服务器200。下载请求信号可以包括与选择的缩略图图像相对应的图像的识别信息。
在步骤S930，服务器200可以检索与图像的识别信息匹配的存储的特征值。服务器200可以在存储器220中存储的特征值之中检索与接收的图像的识别信息匹配的特征值。
在步骤S940，服务器200可以将检索的特征值发送到电子设备。服务器200可以仅将检索的特征值发送到电子设备100，但是本公开不限于此。服务器200可以将用户密钥的版本信息与特征值一起发送到电子设备100。
在步骤S950，电子设备100可以将用户密钥和特征值输入到解密模型中并恢复图像。电子设备100可以通过将用户密钥和特征值输入到解密模型中作为输入数据恢复与特征值相对应的图像。当用户密钥不同于用于加密图像的用户密钥(或用户密钥版本)时，电子设备100可以不恢复与特征值相对应的图像。然而，当用户密钥与用于加密图像的用户密钥相同时，电子设备100可以使用解密模型恢复与特征值相对应的图像。可以与加密模型并行地训练解密模型。电子设备100可以恢复原始图像，但这仅是示例实施例。电子设备100可以通过使用GAN恢复比原始图像更高分辨率的图像。
在步骤S960，电子设备100可以提供恢复的图像。电子设备100可以在图9B的(b)所示的屏幕上显示恢复的图像。电子设备100可以将恢复的图像存储在电子设备100的存储器130中。
图10A和图10B是说明根据实施例的用于通过使用解密模型检索图像并解密图像的方法的视图。
在步骤S1010，电子设备100可以接收搜索对象图像或关键字。例如，如图10B的(a)所示，电子设备100可以在搜索字段1070中接收关键字。对于另一示例，如图10B的(b)所示，电子设备100可以通过菜单1080接收用于检索相似图像的搜索对象图像。当选择搜索对象图像时，电子设备100可以将选择的搜索对象图像和用户密钥输入到加密模型中，并且获取与搜索对象图像相对应的特征值。
在步骤S1020，电子设备100可以将与搜索对象图像相对应的特征值或关键字发送到服务器200。
在步骤S1030，服务器200可以基于与搜索对象图像相对应的特征值或关键字检索与要检索的搜索图像相对应的特征值。服务器200可以根据相似度分类和存储特征值。服务器200可以检索以与对应于接收的搜索对象图像的特征值相似的方式分类的特征值。当服务器200根据相似度对特征值进行分类时，可以根据图像中包括的对象对图像进行分类。当根据图像中包括的对象对图像进行分类时，服务器200可以检索与图像相对应的特征值，该图像具有与接收的关键字相对应的对象。
在步骤S1040，服务器200可以将检索的特征值发送到电子设备100。服务器200可以将用于加密特征值的用户密钥的版本信息与检索的特征值一起发送。
在步骤S1050，电子设备100可以通过将检索的特征值和用户密钥输入解密模型恢复搜索图像。电子设备100可以恢复与通过将用户密钥和特征输入解密模型作为输入数据而检索的特征值相对应的搜索图像。
在步骤S1060，电子设备100可以提供搜索图像。
换句话说，如上所述，用户可以通过使用基于相似度分类的特征值检索存储在服务器200中的加密图像中用户期望的图像。
图11是说明根据实施例的用于通过使用加密模型加密图像并将图像上传到外部服务器的方法的流程图。
在步骤S1110，电子设备100可以获取图像。图像可以是由相机170拍摄的图像，但是本公开不限于此。图像可以是从外部设备接收的图像、从网站下载的图像、电子设备100的捕获屏幕等。
在步骤S1120，电子设备100可以接收用于上传获取的图像的用户命令。电子设备100可以通过图8B的(b)中所示的菜单880接收用于上传图像的用户命令，但是本公开不限于此。电子设备100可以以各种方式接收用于上传图像的用户命令。
在步骤S1130，电子设备100可以通过将图像和用户密钥输入到加密模型中获取特征值。电子设备100可以通过使用图像和用户密钥生成输入数据。电子设备100可以通过将生成的输入数据输入到训练的加密模型中获取小容量的特征值。
在步骤S1140，电子设备100可以将识别信息和获取的图像的特征值发送到服务器200。电子设备100可以将在生成特征值时使用的用户密钥的版本信息发送到服务器200。电子设备100即使在将识别信息和获取的图像的特征值发送到服务器200之后，也可以生成并存储低分辨率的缩略图以向用户显示图像。
如上所述，电子设备100可以通过使用图像和用户密钥生成特征值并将生成的特征值发送到服务器200，对图像进行加密并将压缩的特征值上传到服务器200。当图像上传到外部服务器200时，不仅可以保护个人信息，而且还可以将小容量的特征值上传到外部。
图12是示出根据实施例的用于训练和使用加密模型和解密模型的电子设备的配置的框图。
参照图12，处理器1200可以包括训练单元1210、加密单元1220和解密单元1230中的至少一个。图12的处理器1200可以对应于图2的电子设备100的处理器140或数据训练服务器的处理器。
训练单元1210可以通过输入图像和用户密钥生成或训练用于获取特征值的加密模型，并且可以通过输入特征值和用户密钥生成或训练用于恢复图像的解密模型。例如，训练单元1210可以通过使用图像和用户密钥作为训练数据生成，训练或更新用于获取与图像相对应的特征值的加密模型。对于另一示例，训练单元1210可以通过使用特征值和用户密钥作为训练数据生成，训练或更新用于恢复图像的解密模型。训练单元1210可以并行地训练加密模型和解密模型。换句话说，当通过将用户密钥和图像作为输入数据输入到加密模型中而获得的特征值和用户密钥被输入到解密模型中时，可以并行地训练加密模型和解密模型，使得可以恢复输入到加密模型中的图像。
训练单元1210可以通过使用存储在电子设备100中的图像和用户密钥执行由普通图像和随机用户密钥训练的加密模型和解密模型的训练。训练单元1210可以维护用户数据的安全性并且训练对用户优化的加密模型和解密模型。
加密单元1220可以将图像和用户密钥用作训练的加密模型的输入数据，并且获取与图像相对应的特征值。加密单元1230可以使用特征值和用户密钥作为训练的解密模型的输入数据，并且恢复与特征值相对应的图像。
训练单元1210的至少一部分和加密单元1220/解密单元1230的至少一部分可以体现为软件模块，或者可以体现为至少一个硬件芯片的形式并且安装在电子设备上。例如，训练单元1210和加密单元1220/解密单元1230中的至少一个可以以仅用于人工智能(AI)的硬件芯片的形式体现，或体现为通用处理器(例如，CPU和应用处理器)或图形处理器(例如，CPU)的一部分并安装在各种电子设备或加密/解密装置上。仅用于人工智能的硬件芯片可以是专门用于概率计算的处理器，并且具有比通用处理器更高的并行处理性能，从而可以在诸如机器学习的人工智能领域中快速处理计算。当训练单元1210和加密单元1220/解密单元1230被实现为软件模块(或包括一个或多个指令的程序模块)时，软件模块可以被存储在非暂时性计算机可读介质中。在这种情况下，软件模块可以由操作系统(OS)或预定的应用提供。可选地，一些软件模块可以由OS提供，并且一些软件模块可以由预定的应用提供。
训练单元1210和加密单元1220/解密单元1230可以被安装在一个电子设备上，或者被安装在各自的电子设备上。例如，训练单元1210和加密单元1220/解密单元1230中的一个可以被包括在电子设备100中，而另一个可以被包括在外部服务器中。对于另一示例，加密单元1220和解密单元1230中的一个可以被包括在第一电子设备100-1中。另一个可以被包括在第二电子设备100-2中。另外，训练单元1210和加密单元1220/解密单元1230可以以有线或无线方式将由训练单元1210建立的模型信息提供给加密单元122/解密单元1230，并将数据输入到训练单元1210可以提供给训练单元1210作为附加训练数据。
图13A是示出根据各种实施例的训练单元1210、加密单元1220和解密单元1230的框图。
参照图13A的(a)，根据实施例的训练单元1210可以包括训练数据获取单元1210-1和模型训练单元1210-4。训练单元1210可以进一步包括训练数据预处理单元1210-2、训练数据选择单元1210-3和模型评估单元1210-5中的至少一个。
训练数据获取单元1210-1可以获取用于加密模型和解密模型的训练数据。根据实施例，训练数据获取单元1210-1可以获取图像和随机用户密钥作为训练数据。根据另一示例，训练数据获取单元1210-1可以获取存储在电子设备100中的图像和电子设备100的用户密钥作为用于用户优化的训练数据。
模型训练单元1210-4可以基于训练数据训练使用用户密钥获取与图像相对应的特征值的加密模型以及使用用户密钥恢复与特征值相对应的图像的解密模型。例如，模型训练单元1210-4可以通过将用户密钥和图像输入到加密模型中获取特征值，并且训练加密模型和解密模型，以通过将获取的特征值和用户密钥输入到解密模型恢复图像。
另外，模型训练单元1210-4可以根据输入数据的类型通过改变构成加密模型的层数、每一层的内核大小和通道数、池化层数、池化大小、是否应用跳过连接、是否应用中间功能和自上而下的功能等训练加密模型。模型训练单元1210-4可以与训练的加密模型并行地训练解密模型。因为加密模型和解密模型被并行地训练，所以下面将基于加密模型描述训练单元1210。
模型训练单元1210-4可以通过使用至少一部分训练数据作为标准的监督学习来训练加密模型。例如，模型训练单元1210-4可以在没有任何指导的情况下执行自训练，并且因此通过获得用于获取特征值的标准的无监督学习训练加密模型。模型训练单元1210-4可以使用关于基于学习的情况确定的结果是否正确的反馈，通过强化学习训练加密模型。模型训练单元1210-4还可使用例如包括错误反向传播方法或梯度下降的学习算法训练加密模型。
另外，模型训练单元1210-4可以通过使用输入数据训练关于应该使用哪些学习数据获取特征值的筛选标准。
当存在多个预先建立的加密模型时，模型训练单元1210-4可以将输入训练数据与基本训练数据最相关的加密模型确定为训练加密模型。基本训练数据可以按数据类型预先分类。可以通过数据类型预先建立加密模型。例如，可以基于各种标准(例如，生成训练数据的区域、生成学习数据的时间、学习数据的大小、学习数据的类型、学习数据的创建者等)对基础训练数据进行预分类。
当加密模型被训练时，模型训练单元1210-4可以存储训练的加密模型。模型训练单元1210-4可以将训练的加密模型存储在电子设备100的存储器130中。模型训练单元1210-4可以将训练的加密模型存储在以有线/无线方式连接的服务器存储器中。
训练单元1210还可以包括训练数据预处理单元1210-2和训练数据选择单元1210-3，以改善加密模型的处理结果或减少用于生成加密模型的资源或时间。
训练数据预处理单元1210-2可以对获取的数据进行预处理，使得获取的数据可以用于训练特征值的获取。训练数据预处理单元1210-2可以以预定格式制造获取的数据，使得模型训练单元1210-4可以使用获取的数据训练特征值的获取。例如，如图6A和图6B所示，训练数据预处理单元1210-2可以处理用户密钥和图像作为输入数据。
训练数据选择单元1210-3可以从由训练数据获取单元1210-1获取的数据和由训练数据预处理单元1210-2预处理的数据中选择用于训练的数据。选择的训练数据可以被提供给模型训练单元1210-4。根据预设的筛选标准，训练数据选择单元1210-3可以从获取的或预处理的数据中选择用于训练的训练数据。训练数据选择单元1210-3可以通过模型训练单元1210-4的训练根据预设的筛选标准来选择训练数据。
训练单元1210还可以包括模型评估单元1210-5，以改善加密模型的处理结果。
当评估数据被输入到加密模型中，并且从评估数据输出的处理结果不满足预定标准时，模型评估单元1210-5可以使模型训练单元1210-4再次训练。评估数据可以是用于评估加密模型的预定义数据。
例如，当评估数据的训练加密模型的处理结果中处理结果不正确的评估数据的数量或比例超过预定阈值时，模型评估单元1210-5可以评估为预定标准不满足。
当存在多个训练的加密模型时，模型评估单元1210-5可以评估每个训练的加密模型是否满足预定标准，并且将满足预定标准的模型确定为最终加密模型。在这种情况下，当存在满足预定标准的多个模型时，模型评估单元1210-5可以将按照最高评估分数的顺序预先设置的任何一个或预定数目的模型确定为最终加密模型。
此外，如上所述，当训练加密模型时，训练单元1210可以训练要镜像到加密模型的解密模型。
参照图13A的(b)，根据一些实施例的加密单元1220可以包括输入数据获取单元1220-1和特征值提供单元1220-4。加密单元1220还可以包括输入数据预处理单元1220-2、输入数据选择单元1220-3、模型更新单元1220-5中的至少一个。
输入数据获取单元1220-1可以获取用于获取特征值的数据。输入数据获取单元1220-1可以获取电子设备100的图像和用户密钥作为输入数据。
特征值提供单元1220-4可以通过将从输入数据获取单元1220-1获得的数据应用于训练的加密模型获取与图像相对应的特征值。特征值提供单元1220-4可以提供与图像和用户密钥相对应的特征值。特征值提供单元1220-4可以通过将由输入数据预处理单元1220-2或输入数据选择单元1220-3选择的数据应用于加密模型作为输入值获取特征值。
加密单元1220还可以包括输入数据预处理单元1220-2和输入数据选择单元1220-3，以改善加密模型的处理结果或减少用于提供处理结果的资源或时间。
输入数据预处理单元1220-2可以对获取的数据进行预处理，使得获取的数据可以用于获取特征值。输入数据预处理单元1220-2可以以预定格式制造输入数据，使得特征值提供单元1220-4可以使用输入数据用于获取特征值。如图6A和图6B所示，输入数据预处理单元1220-2可以处理输入数据。
输入数据选择单元1220-3可以从由输入数据获取单元1220-1获得的数据或由输入数据预处理单元1220-2预处理的数据中选择用于获取特征值的数据。选择的数据可以被提供给特征值提供单元1220-4。输入数据选择单元1220-3可以根据用于获取特征值的预定选择标准选择获取的或预处理的数据中的一些或全部。输入数据选择单元1220-3可以通过模型训练单元1210-4的训练根据预定的筛选标准选择数据。
模型更新单元1220-5可以基于对由特征值提供单元1220-4提供的特征值的评估控制要更新的加密模型。例如，模型更新单元1220-5可以将由特征值提供单元1220-4提供的特征值提供给模型训练单元1210-4，并请求模型训练单元1210-4进一步训练或更新加密模型。
参照图13A的(c)，根据实施例的解密单元1230可以包括输入数据获取单元1230-1和图像提供单元1230-4。解密单元1230可以进一步包括输入数据预处理单元1230-2、输入数据选择单元1230-3和模型更新单元1230-5中的至少一个。
输入数据获取单元1230-1可以获取用于恢复图像的数据。例如，输入数据获取单元1230-1可以获取从服务器200获取的用户密钥和特征值作为输入数据。图像提供单元1230-4可以通过将从输入数据获取单元1230-1获取的数据应用于训练的解密模型作为输入值提供与特征值相对应的图像。图像提供单元1230-4可以恢复与特征值和用户密钥相对应的图像。图像提供单元1230-4可以通过将由数据预处理单元1230-2或输入数据选择单元1230-3选择的数据作为输入值应用于解密模型来恢复图像。
解密单元1230还可以包括输入数据预处理单元1230-2和输入数据选择单元1230-3，以改善解密模型的处理结果并减少用于提供处理结果的资源或时间。
输入数据预处理单元1230-2可以预处理获取的数据，使得获取的数据可以用于恢复图像。输入数据预处理单元1230-2可以以预定格式制造输入数据，使得图像提供单元1230-4可以使用输入数据用于恢复图像。
输入数据选择单元1230-3可以从由输入数据获取单元1230-1获得的数据或由输入数据预处理单元1230-2预处理的数据中选择用于恢复图像的数据。选择的数据可以被提供给图像提供单元1230-4。输入数据选择单元1230-3可以根据用于恢复图像的预设筛选标准选择获取的或预处理的数据中的一些或全部。
模型更新单元1230-5可以基于由图像提供单元1230-4提供的图像的评估来控制解密模型被更新。例如，模型更新单元1230-5可以将由图像提供单元1230-4提供的图像提供给模型训练单元1210-4，并请求模型训练单元1210-4可以进一步训练或更新解密模型。
图13B是示出根据实施例的当电子设备100与外部服务器200相关联地操作时训练加密模型并获取特征值的示例的示图。
参照图13B，外部服务器200可以训练用于解密模型的标准以获取特征值，并且电子设备100可以通过使用基于服务器200的训练结果而生成的加密模型来获取特征值。
服务器200的模型训练单元1210-4可以执行图12所示的训练单元1210的功能。电子设备100的特征值提供单元1220-4可以通过将由输入数据选择单元1220-3选择的数据应用于服务器200生成的加密模型来获取与图像相对应的特征值。
电子设备100的特征值提供单元1220-4可以从服务器200接收由服务器200生成的加密模型，并且通过使用接收的加密模型来获取与图像相对应的特征值。电子设备100的特征值提供单元1220-4可以将由输入数据选择单元1220-3选择的输入数据应用于从服务器200接收的加密模型，并且获取与图像相对应的特征值。
图13C是示出根据实施例的当电子设备与外部服务器200相关联地操作时训练解密模型并恢复图像的示例的示图。
参照图13C，外部服务器200可以训练用于解密模型的标准以恢复图像，并且电子设备100可以通过使用基于服务器200的训练结果而生成的解密模型来恢复图像。
服务器200的模型训练单元1210-4可以执行图12所示的训练单元1210的功能。电子设备100的图像提供单元1230-4可以通过将由输入数据选择单元1230-3选择的数据应用于由服务器200生成的解密模型来获取与特征值相对应的图像。
电子设备100的图像提供单元1230-4可以从服务器200接收由服务器200生成的解密模型，并且通过使用接收的解密模型恢复与特征值相对应的图像。电子设备100的图像提供单元1230-4可以通过将由输入数据选择单元1230-3选择的输入数据应用于从服务器200接收的解密模型恢复与图像相对应的特征值。
图14和图15是用于解释根据各种实施例的使用加密模型或解密模型的网络系统的流程图。参照图14和图15，使用加密模型或解密模型的网络系统可以包括第一构成元件1401和1501以及第二构成元件1402和1502。
第一构成元件1401和1501每个可以是诸如电子设备100的设备，并且第二构成元件1402和1502每个都可以作为诸如存储加密模型或解密模型的服务器200的服务器。第一构成元件1401和1501可以包括通用处理器，第二构成元件1402和1502可以包括人工智能专用处理器，或者第一构成元件1401和1501可以是至少一个应用，第二构成元件1402和1502可以是OS。与第一构成元件1401和1501相比，第二构成元件1402和1502可以更集成、专用、更少延迟、性能占优势或者可以具有大量的资源，从而与第一构成元件1401和1501相比，可以更快、更有效地处理用于生成，更新，或应用加密模型或解密模型。
可以定义用于在第一构成元件1401和1501与第二构成元件1402和1502之间发送和接收数据的接口。
例如，可以定义将被应用于加密模型或解密模型的训练数据作为因子值(或参数值或传递值)的应用程序接口(API)。可以通过在另一个协议(例如，服务器200中定义的协议)中调用一个协议(例如，电子设备100中定义的协议)的处理的子例程或函数集合来定义API。换句话说，可以提供任何一个协议都可以通过API执行另一个协议的操作的环境。
第三构成元件1403和1503可以分别被实现为匹配并存储与图像相对应的特征值和图像的识别信息的外部服务器或云设备。
参照图14，在步骤S1410，第一构成元件1401可以接收图像上传命令。可以通过菜单对图像获取图像上传命令，但是本公开不限于此。
在步骤S1420，第一构成元件1401可以获取用户密钥。用户密钥可以是电子设备100的识别信息或用户输入的密码。
在步骤S1430，第一构成元件1401可以将图像和用户密钥发送到第二构成元件1402。当存在多个用户密钥时，第一构成元件1401可以发送关于与多个用户密钥中的图像相对应的用户密钥的版本信息。
在步骤S1440，第二构成元件1402可以通过将图像和用户密钥输入到加密模型获取特征值。加密模型可以是将被训练为通过使用图像和用户密钥作为输入数据获取与图像相对应的特征值的模型。
在步骤S1450，第二构成元件1402可以将与图像相对应的特征值发送到第一构成元件1401。
在步骤S1460，第一构成元件1401可以将图像的识别信息和与图像相对应的特征值发送到第三构成元件1403。第一构成元件1401可以将关于用户密钥的版本信息发送到第三构成元件1403。
在步骤S1470，第三构成元件1403可以匹配并存储从第一构成元件1401发送的图像的识别信息和与图像相对应的特征值。第三构成元件1403还可以存储用户密钥的版本信息。
在步骤S1480，第一构成元件1401可以生成与图像相对应的缩略图。基于用于显示正在接收的图像的用户命令，第一构成元件1401可以显示生成的缩略图图像。
参照图15，在步骤S1510，第三构成元件1503可以匹配并存储识别信息和特征值。
在步骤S1520，第一构成元件1501可以接收图像的下载命令。可以对图像通过菜单输入下载命令，但是本公开不限于此。可以以各种方式输入下载命令。
在步骤S1530，第一构成元件1501可以将下载请求信号发送到第三构成元件1503。下载请求信号可以包括要下载的图像的识别信息。
在步骤S1540，第三构成元件1503可以检索与图像的识别信息相对应的特征值。可以检索在第三构成元件1503中存储的多个特征值中与图像的识别信息匹配的特征值。
在步骤S1550，第三构成元件1503可以将检索的特征值发送到第一构成元件1501。第三构成元件1503可以将检索到的特征值发送到第一构成元件1501，但是本公开不限于此。检索的特征值可以直接发送到第二构成元件1502。
在步骤S1560，第一构成元件1501可以将用户密钥和特征值发送到第二构成元件1502。
在步骤S1570，第二构成元件1502可以通过将用户密钥和特征值输入到解密模型来存储图像。解密模型可以是通过被训练为使用用户密钥和特征值作为输入数据恢复图像的模型，并且可以与加密模型并行地被训练。
在步骤S1580，第二构成元件1502可以将恢复的图像发送到第一构成元件1501。
在步骤S1590，第一构成元件1501可以提供恢复的图像。第一构成元件1501可以存储恢复的图像。
各种实施例可以体现为包括存储在机器可读存储介质中的命令的软件。机器可以是调用存储在存储介质中的一个或多个指令并且可以根据所调用的指令进行操作的装置，包括根据所公开的实施例的电子设备(例如，电子设备100)。当一个或多个指令由处理器执行时，处理器可以使用其他组件直接地或在处理器的控制下执行与指令相对应的功能。一个或多个指令可以包括由编译器生成的代码或由解释器可执行的代码。可以以非暂时性存储介质的形式来提供机器可读存储介质。“非暂时性”是指存储介质不包括信号而是有形的，但是不能区分数据是永久性存储还是临时存储在存储介质上。
根据实施例，可以在计算机程序产品中提供根据本文公开的各个实施例的方法。计算机程序产品可以作为商品在买卖双方之间进行交易。
计算机程序产品可以以机器可读存储介质(例如，光盘只读存储器(CD-ROM))的形式分发，或者通过应用商店(例如，PlayStoreTM)在线分发。在在线分发的情况下，计算机程序产品的至少一部分可以临时存储或临时创建在存储介质上，诸如制造商的服务器、应用商店的服务器或中继器服务器的存储器。
根据示例性实施例，由块表示的组件、元件、模块或单元中的至少一个(包括图2-图4、图7、图12、图13、图13A、图13B和图13C中所示的那些)可以体现为执行上述各个功能的各种数量的硬件、软件和/或固件结构。例如，这些组件、元件、模块或单元中的至少一个可以使用直接电路结构，诸如存储器、处理器、逻辑电路、查找表等，其可以通过一个或多个微处理器或其他控制装置的控制来执行相应功能。此外，这些组件、元件、模块或单元中的至少一个可以由包含用于执行指定逻辑功能的一个或多个可执行指令的模块、程序或代码的一部分具体体现，并由一个或多个执行微处理器或其他控制设备执行。此外，这些组件、元件、模块或单元中的至少一个可以进一步包括处理器(诸如执行相应功能的中央处理单元(CPU)、微处理器等)或可以由处理器实现。这些组件、元件、模块或单元中的两个或更多个可以组合成一个单个组件、元件、模块或单元，执行所组合的两个或更多个组件、元件、模块或单元的所有操作或功能。此外，这些组件、元件、模块或单元中的至少一个的至少一部分功能可以由这些组件、元件、模块或单元中的另一个来执行。此外，尽管在以上框图中未示出总线，但是可以通过总线执行组件、元件、模块或单元之间的通信。可以以在一个或多个处理器上执行的算法中实现以上示例性实施例的功能方面。此外，由快或处理步骤表示的组件、元件、模块或单元可以采用用于电子配置、信号处理和/或控制、数据处理等的任何数量的相关技术。
尽管已经示出和描述了实施例，但是本领域技术人员将理解，可以在不脱离本公开的原理和精神的情况下对这些实施例进行改变。因此，本公开的范围不被解释为限于所描述的实施例，而是由所附权利要求及其等同物来限定。

Claims (15)

1.一种用于控制电子设备的方法，所述电子设备包括至少一个处理器，所述至少一个处理器被配置为通过使用人工智能神经网络模型对图像进行加密并且将加密的图像上传到外部服务器，所述方法包括：
接收将图像上传到外部服务器的命令；
基于命令，通过将图像和电子设备的密钥输入到被训练为基于输入图像和输入密钥识别特征值的神经网络模型中，获取与图像相对应的特征值；以及
将图像的识别信息和特征值发送到外部服务器。
2.根据权利要求1所述的方法，其中，电子设备的密钥是电子设备的密码和电子设备的识别信息当中的一个。
3.根据权利要求1所述的方法，其中，密钥是多个密钥中的一个，以及
其中，发送包括将与图像相对应的密钥的版本信息连同图像的识别信息和特征值一起发送到外部服务器。
4.根据权利要求1所述的方法，还包括：
基于命令获取与图像相对应的缩略图图像；
匹配并且存储缩略图图像和图像的识别信息；以及
删除图像。
5.根据权利要求4所述的方法，还包括：基于接收显示图像的显示命令提供缩略图图像。
6.根据权利要求1所述的方法，其中，外部服务器对图像的识别信息和特征值进行匹配和存储，基于特征值比较图像与另一图像之间的相似度，以及基于相似度对图像进行分类。
7.根据权利要求6所述的方法，还包括：
接收检索与关键字有关的图像的检索命令；
向外部服务器发送请求，以请求与关键字有关的搜索；以及
基于所述请求，从外部服务器接收对应于与关键字有关的至少一个搜索图像的特征值，所述至少一个搜索图像是基于相似度比较而分类的图像当中的至少一个。
8.根据权利要求7所述的方法，还包括：通过将与至少一个搜索图像相对应的特征值和电子设备的密钥输入到解密模型来恢复至少一个搜索图像，所述解密模型被训练为通过使用与至少一个搜索图像相对应的特征值和密钥作为输入数据来恢复图像。
9.根据权利要求1所述的方法，还包括：
基于接收到接收与图像相对应的特征值的下载命令，将请求与图像相对应的特征值的请求信号发送到外部服务器；
基于请求信号，从外部服务器接收与图像相对应的特征值；以及
通过将与图像相对应的特征值和电子设备的密钥输入到解密模型来恢复图像，所述解密模型被训练为通过使用特征值和密钥来恢复图像。
10.根据权利要求9所述的方法，其中，接收包括：从外部服务器接收用于加密图像的电子设备的密钥的版本信息连同与图像相对应的特征值，
其中，恢复包括通过将与图像相对应的特征值和与版本信息相对应的电子设备的密钥输入到解密模型来恢复图像。
11.一种电子设备，包括：
通信器；
显示器；
存储器；以及
处理器，被配置为控制与通信器、显示器和存储器电连接的电子设备，
其中，处理器还被配置为：
实现被训练为通过使用图像和密钥作为输入数据获取特征值的神经网络模型，以及用于执行电子设备操作的程序，
根据命令获取将图像上传到外部服务器的输入信号，
基于输入信号，通过将图像和电子设备的密钥输入到神经网络模型中，获取与图像相对应的特征值，以及
控制通信器将图像的识别信息和特征值发送到外部服务器。
12.根据权利要求11所述的电子设备，其中，电子设备的密钥是电子设备的密码和电子设备的识别信息当中的一个。
13.根据权利要求11所述的电子设备，其中，密钥是多个密钥中的一个，以及
其中，处理器还被配置为控制通信器将与图像相对应的密钥的版本信息连同图像的识别信息和特征值一起发送到外部服务器。
14.根据权利要求11所述的电子设备，其中，处理器还被配置为：
基于命令获取与图像相对应的缩略图图像；
对缩略图图像和图像的识别信息进行匹配并且存储在存储器中；以及
从存储器删除图像。
15.根据权利要求14所述的电子设备，其中，处理器还被配置为控制显示器基于接收显示图像的显示命令来提供缩略图图像。
CN201880049170.5A 2017-07-24 2018-07-24 电子设备和控制电子设备的方法 Active CN110945505B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201762536042P 2017-07-24 2017-07-24
US62/536,042 2017-07-24
KR10-2017-0142106 2017-10-30
KR1020170142106A KR102444932B1 (ko) 2017-07-24 2017-10-30 이미지를 암호화하여 외부 서버에 업로드하기 위한 전자 장치 및 이의 제어 방법
PCT/KR2018/008355 WO2019022472A1 (en) 2017-07-24 2018-07-24 ELECTRONIC DEVICE AND ITS CONTROL METHOD

Publications (2)

Publication Number Publication Date
CN110945505A true CN110945505A (zh) 2020-03-31
CN110945505B CN110945505B (zh) 2023-09-05

Family

ID=65367951

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880049170.5A Active CN110945505B (zh) 2017-07-24 2018-07-24 电子设备和控制电子设备的方法

Country Status (2)

Country Link
KR (1) KR102444932B1 (zh)
CN (1) CN110945505B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111654368A (zh) * 2020-06-03 2020-09-11 电子科技大学 一种基于深度学习生成对抗网络的密钥生成方法
CN112115811A (zh) * 2020-08-31 2020-12-22 支付宝(杭州)信息技术有限公司 基于隐私保护的图像处理方法、装置和电子设备

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110662780B (zh) 2018-02-02 2022-03-11 株式会社Lg化学 接枝共聚物的制备方法、接枝共聚物和热塑性树脂模制品
KR102103731B1 (ko) * 2018-04-02 2020-05-29 서울과학기술대학교 산학협력단 비대화식 통신을 이용한 암호화 데이터의 기계학습 시스템
KR20210018985A (ko) 2019-08-11 2021-02-19 권형석 인공지능 기반에서 명함 이미지를 코드화하는 방법 및 시스템.
KR102529272B1 (ko) * 2019-12-20 2023-05-08 한국전자통신연구원 보안 통신 방법 및 이를 수행하는 장치
CN111476866B (zh) * 2020-04-09 2024-03-12 咪咕文化科技有限公司 视频优化与播放方法、系统、电子设备及存储介质
KR20210133471A (ko) * 2020-04-29 2021-11-08 삼성전자주식회사 전자 장치 및 그의 제어 방법
CN114189598B (zh) * 2022-01-11 2024-05-10 深圳市怡化时代科技有限公司 数据加密处理方法、装置、计算机设备和存储介质
WO2023136386A1 (ko) * 2022-01-17 2023-07-20 엘지전자 주식회사 이미지를 암호화하는 전자 기기
CN116055651B (zh) * 2023-01-06 2023-11-10 广东电网有限责任公司 多中心能源经济数据的共享访问方法、装置、设备及介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2346397C1 (ru) * 2007-06-26 2009-02-10 Александр Иванович Иванов Способ защиты персональных данных биометрической идентификации и аутентификации
US20100316222A1 (en) * 2008-03-03 2010-12-16 Pfu Limited Image processing system
US20120275690A1 (en) * 2011-04-26 2012-11-01 Nec Laboratories America, Inc. Distributed artificial intelligence services on a cell phone
CN103577764A (zh) * 2012-07-27 2014-02-12 国基电子（上海）有限公司 文档加解密方法及具有文档加解密功能的电子装置
CN104239815A (zh) * 2014-09-19 2014-12-24 西安凯虹电子科技有限公司 基于虹膜识别的电子文档加密解密装置及方法
WO2015093254A1 (ja) * 2013-12-16 2015-06-25 満男 江口 暗号通信向け画像圧縮伸長方法及び装置、プログラム、並びに記憶媒体
US20150213058A1 (en) * 2014-01-24 2015-07-30 Amol Ashok Ambardekar Adaptable image search with computer vision assistance
US20160140146A1 (en) * 2014-11-14 2016-05-19 Zorroa Corporation Systems and Methods of Building and Using an Image Catalog
CN105631296A (zh) * 2015-12-30 2016-06-01 北京工业大学 一种基于cnn特征提取器的安全人脸认证系统设计方法
CN106599703A (zh) * 2016-12-12 2017-04-26 中国矿业大学 基于混合图元和混沌的多图像加密方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9626766B2 (en) * 2014-02-28 2017-04-18 Microsoft Technology Licensing, Llc Depth sensing using an RGB camera
US10810252B2 (en) * 2015-10-02 2020-10-20 Adobe Inc. Searching using specific attributes found in images

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2346397C1 (ru) * 2007-06-26 2009-02-10 Александр Иванович Иванов Способ защиты персональных данных биометрической идентификации и аутентификации
US20100316222A1 (en) * 2008-03-03 2010-12-16 Pfu Limited Image processing system
US20120275690A1 (en) * 2011-04-26 2012-11-01 Nec Laboratories America, Inc. Distributed artificial intelligence services on a cell phone
CN103577764A (zh) * 2012-07-27 2014-02-12 国基电子（上海）有限公司 文档加解密方法及具有文档加解密功能的电子装置
WO2015093254A1 (ja) * 2013-12-16 2015-06-25 満男 江口 暗号通信向け画像圧縮伸長方法及び装置、プログラム、並びに記憶媒体
CN105830134A (zh) * 2013-12-16 2016-08-03 来特荣国际有限公司 面向加密通信的图像压缩扩展方法及装置、程序以及存储介质
US20150213058A1 (en) * 2014-01-24 2015-07-30 Amol Ashok Ambardekar Adaptable image search with computer vision assistance
CN104239815A (zh) * 2014-09-19 2014-12-24 西安凯虹电子科技有限公司 基于虹膜识别的电子文档加密解密装置及方法
US20160140146A1 (en) * 2014-11-14 2016-05-19 Zorroa Corporation Systems and Methods of Building and Using an Image Catalog
CN105631296A (zh) * 2015-12-30 2016-06-01 北京工业大学 一种基于cnn特征提取器的安全人脸认证系统设计方法
CN106599703A (zh) * 2016-12-12 2017-04-26 中国矿业大学 基于混合图元和混沌的多图像加密方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111654368A (zh) * 2020-06-03 2020-09-11 电子科技大学 一种基于深度学习生成对抗网络的密钥生成方法
CN111654368B (zh) * 2020-06-03 2021-10-08 电子科技大学 一种基于深度学习生成对抗网络的密钥生成方法
CN112115811A (zh) * 2020-08-31 2020-12-22 支付宝(杭州)信息技术有限公司 基于隐私保护的图像处理方法、装置和电子设备

Also Published As

Publication number Publication date
CN110945505B (zh) 2023-09-05
KR20190011180A (ko) 2019-02-01
KR102444932B1 (ko) 2022-09-20

Similar Documents

Publication Publication Date Title
US10992839B2 (en) Electronic device and method for controlling the electronic device
CN110945505B (zh) 电子设备和控制电子设备的方法
KR102453169B1 (ko) 디바이스가 이미지를 보정하는 방법 및 그 디바이스
US11042728B2 (en) Electronic apparatus for recognition of a user and operation method thereof
KR102359391B1 (ko) 디바이스가 이미지를 보정하는 방법 및 그 디바이스
EP3686848A1 (en) Semantic image synthesis for generating substantially photorealistic images using neural networks
US20190042574A1 (en) Electronic device and method for controlling the electronic device
KR20240006713A (ko) 챗봇 변경을 위한 위한 전자 장치 및 이의 제어 방법
US11921777B2 (en) Machine learning for digital image selection across object variations
US20240193238A1 (en) Electronic device and controlling method of electronic device
US20190228294A1 (en) Method and system for processing neural network model using plurality of electronic devices
CN110121696B (zh) 电子设备及其控制方法
KR102469717B1 (ko) 오브젝트에 대한 검색 결과를 제공하기 위한 전자 장치 및 이의 제어 방법
KR20180049786A (ko) 데이터 인식 모델 구축 장치 및 이의 데이터 인식 모델 구축 방법과, 데이터 인식 장치 및 이의 데이터 인식 방법
US11710111B2 (en) Methods and systems for collecting and releasing virtual objects between disparate augmented reality environments
KR20200044173A (ko) 전자 장치 및 그의 제어 방법
KR102396794B1 (ko) 전자 장치 및 이의 제어 방법
KR20200034020A (ko) 전자 장치 및 그의 제어 방법
CN111797839A (zh) 特征提取方法、装置、存储介质及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant