CN116745842A - 电子装置及其控制方法 - Google Patents

电子装置及其控制方法 Download PDF

Info

Publication number
CN116745842A
CN116745842A CN202280009109.4A CN202280009109A CN116745842A CN 116745842 A CN116745842 A CN 116745842A CN 202280009109 A CN202280009109 A CN 202280009109A CN 116745842 A CN116745842 A CN 116745842A
Authority
CN
China
Prior art keywords
information
user
region
area
content
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202280009109.4A
Other languages
English (en)
Inventor
赵昇纪
姜韩
沈在文
李昌宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN116745842A publication Critical patent/CN116745842A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/10—Intensity circuits
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/39—Control of the bit-mapped memory
    • G09G5/391—Resolution modifying circuits, e.g. variable screen formats
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47G—HOUSEHOLD OR TABLE EQUIPMENT
    • A47G1/00—Mirrors; Picture frames or the like, e.g. provided with heating, lighting or ventilating means
    • A47G1/02—Mirrors used as equipment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04803—Split screen, i.e. subdividing the display area or the window area into separate subareas
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)
  • Electrophonic Musical Instruments (AREA)
  • Selective Calling Equipment (AREA)

Abstract

公开了一种电子装置以及用于控制电子装置的方法。具体地，根据本公开的电子装置包括：第一传感器，用于检测用户；第二传感器，用于检测从外部光源入射的光；镜子显示器；存储器；以及处理器。此外，处理器：当通过第一传感器感测到在镜子显示器的前面的用户时，获得关于镜子显示器上的第一区域的信息，其中，与用户的映像相应的第一图像被显示在第一区域中；基于关于第一区域的信息来确定用于显示要提供给用户的内容的第二区域；当通过第二传感器获得了关于光的信息时，基于关于光的信息来确定第二区域的照度；以及控制镜子显示器以便在第二区域上以所确定的照度显示所述内容。

Description

电子装置及其控制方法
技术领域
本公开涉及一种电子装置及其控制方法，并且更具体地，涉及一种可改善在镜子显示器上观看的反射内容的可见性的电子装置及其控制方法。
背景技术
已经开发了一种配备有镜子显示器的电子装置，该镜子显示器能够在执行镜子功能的同时显示内容。具体地，镜子显示器反射从外部光源入射在镜子显示器上的光以执行镜子功能，同时显示存储在电子装置中的内容/信息。
然而，当与在镜子显示器的前面的用户的映像相应的图像根据镜子功能被从镜子显示器反射出以供用户观看时，可能存在由电子装置显示的内容/信息的可见性可能由于从外部光源入射的光和/或用户图像而劣化的问题。
因此，考虑到从外部光源入射的光和/或用户图像的影响，需要改善显示在镜子显示器上的内容/信息的可见性。
发明内容
技术问题
提供了一种可改善镜子显示器上显示的内容的可见性的电子装置及其控制方法。
技术方案
根据本公开的一个方面，第一电子装置可包括：第一传感器，被配置为感测用户；第二传感器，第二传感器被配置为感测从外部光源入射的光；镜子显示器；存储器；以及处理器，被配置为：基于第一传感器感测到在镜子显示器的前面的用户，获得关于镜子显示器上的第一区域的信息，其中，与用户的映像相应的第一图像位于第一区域中；基于关于第一区域的信息，确定用于显示要提供给用户的内容的第二区域；基于通过第二传感器获得了关于光的信息，基于关于光的信息确定第二区域的照度(luminance)；以及控制镜子显示器在第二区域上以所确定的照度显示所述内容。
关于第一区域的信息可包括关于第一区域的大小的信息和关于第一区域的位置的信息。处理器还可被配置为基于关于第一区域的大小的信息和关于第一区域的位置的信息来确定第二区域的位置和大小。
关于光的信息可包括关于光的方向的信息和关于光的强度的信息。处理器还可被配置为：基于关于第一区域的信息和关于光的方向的信息来确定第二区域的位置和大小，以及基于关于光的强度的信息来确定第二区域的照度。
第一传感器可包括图像传感器，并且处理器还可被配置为：通过图像传感器获得与用户相应的第二图像，通过将第二图像输入到训练过的神经网络模型中来获得关于用户的姿势的信息，以及基于关于用户的姿势的信息来确定第一区域的位置和大小。
处理器还可被配置为：通过将关于所述内容的数据输入到训练过的神经网络模型来分别识别所述内容内的多个对象的类型，并且基于关于光的信息和所述多个对象中的每个对象的类型，确定第二区域中的与所述多个对象中的每个对象相应的区域的照度。
处理器还可被配置为基于关于光的信息、关于内容的类型的信息和关于内容的亮度(brightness)的信息来确定第二区域的照度。
处理器还可被配置为：基于关于第一区域的信息和关于第二区域的信息来确定用于控制所述内容的用户界面的位置，并且控制镜子显示器在所确定的位置处显示所述用户界面。
处理器还可被配置为：基于存储在存储器中的用户数据来识别用户是否是预注册用户，基于用户是预注册用户，基于与预注册用户相应的用户数据来识别所述内容，以及控制镜子显示器在第二区域上显示所识别的内容。
电子装置还可包括通信接口。用户数据可以是通过通信接口从外部装置接收的健康相关数据，并且所述内容可包括与健康相关数据相应的推荐内容。
处理器还可被配置为：处理内容，使得第一区域和第二区域之间的边界区域被混合；以及控制镜子显示器在第二区域上显示处理后的内容。
根据本公开的另一方面，一种控制包括镜子显示器的电子装置的方法可包括：基于感测到在镜子显示器的前面的用户，获得关于镜子显示器上的第一区域的信息，其中，与用户的映像相应的第一图像位于第一区域中；基于关于第一区域的信息来确定用于显示要提供给用户的内容的第二区域；基于通过第二传感器获得了关于光的信息，基于关于光的信息确定第二区域的照度；以及在第二区域上以所确定的照度显示所述内容。
关于第一区域的信息可包括关于第一区域的大小的信息和关于第一区域的位置的信息。确定第二区域的步骤可包括：基于关于第一区域的大小的信息和关于第一区域的位置的信息来确定第二区域的位置和大小。
关于光的信息可包括关于光的方向的信息和关于光的强度的信息。确定第二区域的步骤可包括：基于关于第一区域的信息和关于光的方向的信息来确定第二区域的位置和大小。确定第二区域的照度的步骤包括：基于关于光强度的信息来确定第二区域的照度。
该方法还可包括：获得与用户相应的第二图像；通过将第二图像输入到训练过的神经网络模型来获得关于用户的姿势的信息；以及基于关于用户的姿势的信息来确定第一区域的位置和大小。
所述内容可包括包含多个对象的内容，并且确定第二区域的步骤可包括：通过将关于所述内容的数据输入到训练过的神经网络模型来分别识别所述多个对象的类型；以及基于关于光的信息和所述多个对象中的每个对象的类型，确定第二区域中的与所述多个对象中的每个对象相应的区域的照度。
确定第二区域的照度的步骤可包括：基于关于光的信息、关于内容的类型的信息和关于内容的亮度的信息来确定第二区域的照度。
该方法可包括：基于关于第一区域的信息和关于第二区域的信息来确定用于控制所述内容的用户界面的位置，以及在所确定的位置处显示所述用户界面。
该方法还可包括：基于存储在存储器中的用户数据来识别用户是否是预注册用户；基于用户是预注册用户，基于与预注册用户相应的用户数据来识别所述内容；以及在第二区域上显示所识别的内容。
用户数据是通过通信器从外部装置接收的健康相关数据，并且所述内容可包括与健康相关数据相应的推荐内容。
根据实施例，一种非暂时性计算机可读记录介质，包括用于执行控制电子装置的方法的程序，该方法包括：基于感测到在镜子显示器的前面的用户，获得关于镜子显示器上的第一区域的信息，其中，与用户相应的第一图像被显示在第一区域中；基于关于第一区域的信息来确定用于显示要提供给用户的内容的第二区域；基于通过第二传感器获得了关于光的信息，基于关于光的信息确定第二区域的照度；以及在第二区域上以所确定的照度显示所述内容。
附图说明
图1是根据本公开的实施例的电子装置的配置的框图；
图2、图3和图4示出根据本公开的实施例的电子装置的操作；
图5是根据本公开的实施例的电子装置的用于确定第二区域的操作的示图；
图6是根据本公开的实施例的电子装置的用于确定第一区域的操作的示图；
图7是根据本公开的实施例的电子装置的用于针对包括在内容中的每个对象不同地确定亮度的操作的示图；
图8是根据本公开的实施例的电子装置的用于显示用于控制内容的用户界面的操作的示图；
图9是示出根据本公开的实施例的电子装置的细节的框图；以及
图10是根据本公开的实施例的控制电子装置的方法的流程图。
具体实施方式
在下文中，将参照附图描述本公开的实施例。然而，可理解，本公开不限于下文描述的实施例，而是还包括本公开的实施例的各种修改、等同物和/或替代物。关于附图的解释，类似的附图标记可用于类似的组成元件。
当决定与本公开相关的已知技术的详细描述可能不必要地模糊本公开的主旨时，可省略该详细描述。
另外，可以以许多不同的形式修改以下实施例，并且本公开的技术精神的范围不限于以下示例。相反，提供这些实施例使得本公开将是透彻和完整的，并且将向本领域技术人员充分传达技术精神。
本文使用的术语用于描述某些实施例，并不旨在限制权利要求的范围。除非另有说明，否则单数表达包括复数表达。
在本说明书中，表述“具有”、“可具有”、“包括”、“可包括”或“包含”等表示相应特征(例如：组件(诸如数字、功能、操作或部件))的存在，并且不排除附加特征的存在。
在本文档中，诸如“A[和/或]B中的至少一个”或“A[和/或]B中的一个或更多个”的表述包括所列项目的所有可能的组合。例如，“A和B中的至少一个”或“A或B中的至少一个”包括以下中的任何一个：(1)至少一个A，(2)至少一个B，或(3)至少一个A和至少一个B。
如本文所使用的，术语“第一”、“第二”等可表示各种组件，而不管顺序和/或重要性，并且可用于将一个组件与另一个组件区分开，并且不限制组件。
对某个元件(例如，第一元件)“可操作地或通信地”与另一元件(例如，第二元件)“耦接”/“可操作地或通信地耦接到”另一元件，或者“连接到”另一元件(例如，第二元件)的描述应当被理解为表示该某个元件可直接连接到另一元件或通过又一元件(例如，第三元件)连接到另一元件。
另一方面，某个元件(例如，第一元件)“直接耦接到”或“直接连接到”另一元件(例如，第二元件)的描述可被理解为指在某个元件和另一元件之间没有元件(例如，第三元件)。
此外，根据情况，本公开中使用的表述“被配置为”可与诸如“适合于”、“具有……的能力”、“被设计为”、“适于”、“被制造为”和“能够”的其他表达互换使用。同时，术语“被配置为”不一定指装置在硬件方面被“专门设计为”。
相反，在一些情况下，表述“被配置为……的装置”可指该装置“能够”与另一装置或组件一起执行操作。例如，短语“被配置为执行A、B和C的处理器”可表示用于执行相应操作的专用处理器(例如，嵌入式处理器)，或者可通过执行存储在存储器装置中的一个或更多个软件程序来执行相应操作的通用处理器(例如，中央处理单元(CPU)或应用处理器)。
诸如“模块”、“单元”、“部件”等的术语用于指执行至少一个功能或操作的元件，并且这样的元件可被实现为硬件或软件、或者硬件和软件的组合。此外，除了当需要在单独的硬件中提供多个“模块”、“单元”、“部件”等中的每一个时之外，组件可集成在至少一个模块或芯片中并且在至少一个处理器中提供。
附图中的各种元件和区域不按比例示出。因此，本公开的范围不受从附图中绘制的相对尺寸或间隔的限制。
在下文中，将参照附图详细描述实施例，使得本公开所属领域的技术人员可容易地制造和使用实施例。
图1是根据本公开的实施例的电子装置的配置的框图。
如图1所示，根据实施例的电子装置100可包括镜子显示器110、传感器120、存储器130和处理器140。
电子装置100可被实现为具有诸如立式镜子的形状的镜子显示器110。然而，电子装置100不限于所公开的实施例的电子装置100的类型和形状，并且电子装置100可被实现为TV或智能电话。
镜子显示器110可被配置为在执行镜子功能的同时显示内容。也就是说，与布置在镜子显示器110前面的对象相应的图像可出自镜子显示器110，并且在显示与布置在镜子显示器110的前面的对象相应的图像的同时，可像传统显示器一样显示存储在存储器130中的内容。镜子显示器110可包括显示面板和布置在显示面板上的镜子面板，并且还可包括布置在镜子面板上的触摸屏面板。
当从外部光源入射的光在镜子显示器110上被反射时，与位于镜子显示器110前面的对象相应的图像可被从镜子显示器110的一个区域反射出。换句话说，如果对象位于镜子显示器110的前面，则可在镜子显示器110上的一个区域上提供对象的映像。当接收到用于显示内容的用户输入或者生成用于显示内容的事件时，镜子显示器110可显示存储在存储器130中的内容。存储在存储器130中的内容不仅可包括由电子装置100获得并存储在存储器130中的内容，还可包括从外部装置接收并存储在电子装置100中的内容。
传感器120可被配置为感测电子装置100内部或外部的各种信息。传感器120可包括一个或更多个传感器120，并且可包括用于感测用户的第一传感器120和用于感测从外部光源入射的光的第二传感器120。第一传感器120可包括图像传感器120、接近传感器120和红外传感器120中的至少一个。第二传感器120可包括照度传感器120和颜色传感器120中的至少一个。传感器120可包括各种类型的传感器120，诸如全球定位系统(GPS)传感器120、陀螺仪传感器120、加速度传感器120、LiDAR传感器120、惯性测量单元(IMU)120、运动传感器120等。
关于电子装置100的至少一个指令可存储在存储器130中。另外，用于驱动电子装置100的操作系统(O/S)可存储在存储器130中。存储器130可存储用于操作根据各种实施例的电子装置100的各种软件程序或应用。存储器130可包括半导体存储器(诸如闪存)、磁存储介质(诸如硬盘)等。
具体地，存储器130可存储用于操作电子装置100的各种软件模块，并且处理器140(例如，至少一个处理器)可通过执行存储在存储器130中的各种软件模块来控制电子装置100的操作。也就是说，存储器130可由处理器140访问，并且可由处理器140执行数据的读取、记录、修改、删除、更新等。
术语存储器130可用于指任何易失性存储器或非易失性存储器、接近处理器140或在处理器140中的ROM、RAM、或安装到电子装置100的存储卡(例如，微安全数字(SD)卡、记忆棒)。
在各种实施例中，存储器130可存储如下所述的各种信息或数据。存储器130可存储关于通过第一传感器120感测到的用户的信息、关于通过第二传感器120感测到的光的方向和强度的信息、关于第一区域21的位置和大小的信息、关于第二区域22的位置和大小的信息、关于第二区域22的照度的信息、多个内容等。存储器130可存储各种类型的用户数据。将参照图9详细描述用户数据的具体非限制性示例和实施例。
在用于实现本公开的目的的范围内所需的各种信息可存储在存储器130中，并且存储在存储器130中的信息可从外部装置接收或通过由用户接收来更新。
处理器140可控制电子装置100的整体操作。具体地，处理器140可连接到包括如上所述的镜子显示器110、传感器120和存储器130的电子装置100的配置，并且可通过执行如上所述的存储在存储器130中的至少一个指令来控制电子装置100的整体操作。
处理器140可以以各种方式实现。例如，处理器140可被实现为专用集成电路(ASIC)、嵌入式处理器、微处理器、硬件控制逻辑、硬件有限状态机(FSM)、数字信号处理器(DSP)等中的至少一个。此外，处理器140可包括中央处理单元(CPU)、图形处理单元(GPU)、主处理单元(MPU)等中的至少一个。
根据实施例，处理器140可通过第一传感器120感测镜子显示器110前面的用户。处理器140可通过包括在第一传感器120中的图像传感器120、接近传感器120和红外传感器120中的至少一个来感测镜子显示器110前面的用户。
如图3至图8所示，当用户位于镜子显示器110的前面时，当从外部光源入射的光在镜子显示器110上反射时，与用户相应的第一图像11可被从镜子显示器110的一个区域反射出。在下文中，当从外部光源入射的光在镜子显示器110上被反射时，被从镜子显示器110的一个区域反射出的用户图像被称为“第一图像11”。
当感测到镜子显示器110前面的用户10时，处理器140可获得关于第一区域21的信息，其中，用户的映像在第一区域21上被从镜子显示器110反射出。关于第一区域21的信息可包括关于第一区域21的大小的信息和关于第一区域21的位置的信息。第一区域21的位置可基于用户的位置，诸如用户眼睛的位置。也就是说，第一区域21可基于用户的视角。
处理器140可基于关于第一区域21的信息来确定用于显示要提供给用户10的内容的第二区域22。处理器140可基于关于第一区域21的尺寸的信息和关于第一区域21的位置的信息来确定用于显示内容的第二区域22的位置和尺寸。根据实施例，第二区域22可被确定为镜子显示器110上的区域中不与第一区域21重叠的区域。
处理器140可通过第二传感器120获得关于从外部光源30入射的光的信息。关于光的信息可包括关于光的方向的信息和关于光的强度的信息。
当通过第二传感器120获得关于光的信息时，处理器140可基于关于光的信息来确定第二区域22的照度，并在第二区域22上显示内容。根据实施例，处理器140可确定第二区域22的照度以与入射在第二区域22上的光的强度相应，并且在第二区域22上以所确定的照度显示内容。
将参照图2至图9进一步描述基于处理器140的控制的各种实施例。
图2、图3和图4示出根据本公开的实施例的电子装置的操作。
当用户10不位于镜子显示器110的前面时，处理器140可控制镜子显示器110显示如图2中所示的待机屏幕1。例如，待机屏幕1可包括关于当前时间的信息，如图2中所示，并且可包括各种信息，诸如关于当前天气的信息。
当在显示待机屏幕1时用户10接近镜子显示器110的前面时，如图3所示，当从外部光源30入射的光在镜子显示器110上被反射时，与用户10的映像相应的第一图像11可被从镜子显示器110的一个区域反射出。当在镜子显示器110的一个区域中显示第一图像11时，处理器140可停止显示待机屏幕1，如图3中所示。
处理器140可通过第一传感器120感测镜子显示器110前面的用户10。处理器140可通过包括在第一传感器120中的图像传感器120获得镜子显示器110前面的场景的图像，对所获得的图像执行对象识别，并且感测镜子显示器110前面的用户10。处理器140可通过包括在第一传感器120中的接近传感器120和红外传感器120中的至少一个来感测镜子显示器110前面的用户10。
当感测到镜子显示器110前面的用户10时，处理器140可获得关于镜子显示器110的第一区域21的信息。处理器140可识别镜子显示器110的与第一图像11相应的像素，并且识别包括所识别的像素的第一区域21的位置和大小。如图4所示，第一区域21可以是镜子显示器110的中心的区域。
处理器140可基于关于第一区域21的信息来确定用于显示要提供给用户10的内容的第二区域22。处理器140可基于关于第一区域21的尺寸的信息和关于第一区域21的位置的信息来确定用于显示内容的第二区域22的位置和尺寸。如图4所示，要提供给用户10的内容可包括与用户10的健康相关的健康相关数据，并且第二区域22可被确定为镜子显示器110上的不与第一区域21重叠的区域中的镜子显示器110的右上区域。
处理器140可通过第二传感器120获得关于从外部光源30入射的光的信息。关于光的信息可包括关于光的方向的信息和关于光的强度的信息。当通过第二传感器120获得关于光的信息时，处理器140可基于关于光的信息来确定第二区域22的照度，并且以所确定的照度在第二区域22上显示内容。
用户10相对于在第二区域22上显示的内容的可见性可根据从外部光源30入射的光的方向和强度而变化。例如，当高强度的光从设置在电子装置100的右上方向上的外部光源30入射在镜子显示器110上时，用户10相对于在镜子显示器110的右上端处的第二区域22上显示的内容的可见性可能降低。
处理器140可根据从外部光源30入射的光的方向和强度来自适应地确定第二区域22的照度，从而提高用户10相对于在第二区域22上显示的内容的可见性。处理器140可确定第二区域22的亮度，以便与入射在第二区域22上的光的强度相应。根据实施例，处理器140可将第二区域22的照度确定为与入射在第二区域22上的光的强度成比例。根据另一实施例，可将与根据光强度的多个级别中的每个级别相应的照度级别的数据预先存储在存储器130中，并且处理器140可根据与入射在第二区域22上的光的强度级别相应的照度级别来确定第二区域22的照度。
根据上面参照图2至图4描述的实施例，电子装置100可基于关于根据镜子功能显示用户图像的区域的信息来确定用于显示要提供给用户10的内容的区域，并且基于关于入射在镜子显示器110上的光的信息来调整用于显示内容的区域的照度，从而提高用户10相对于在镜子显示器110上显示的内容的可见性。
图5是示出用于确定第二区域的实施例的示图。
参照图2至图4，基于关于第一区域21的信息来确定第二区域22，但是这仅仅是示例性的，并且根据本公开，在确定第二区域22时不必仅使用关于第一区域21的信息。根据本公开的另一实施例，处理器140可使用关于从外部光源30入射的光的信息以及关于第一区域21的信息来确定第二区域22。
如上所述，当用户10接近镜子显示器110的前表面时，与用户10相应的第一图像11可被从镜子显示器110的一个区域反射出。当感测到镜子显示器110前面的用户10时，处理器140可获得关于镜子显示器110的第一区域21的信息。处理器140可通过第二传感器120获得关于从外部光源30入射的光的信息。
当获得了关于第一区域21的信息和关于光的信息时，处理器140可基于关于第一区域21的信息和关于光的信息来确定第二区域22的位置和大小，并且基于关于光的信息来确定第二区域22的照度。
例如，如图5所示，当高强度的光从设置在电子装置100的右上方向上的外部光源30入射在镜子显示器110上时，具体地，可降低用户10相对于显示在显示器110的右上区域上的内容的可见性，并且用户10相对于显示在镜子显示器110的左下区域上的内容的可见性可相对高。因此，处理器140可在镜子显示器110上的不与第一区域21重叠的区域中选择镜子显示器110的左下侧而不是镜子显示器110的右上侧的一个区域作为第二区域22。
然而，图5的实施例仅仅是实施例，并且第二区域22可被确定为镜子显示器110的左上端或右下端的区域，并且第二区域22的至少一部分可被确定为与第一区域21的至少一部分重叠。如果确定第二区域22的至少一部分与第一区域21的至少一部分重叠，则处理器140可处理内容，使得从第一区域21反射出的第一图像11与在第二区域22上显示的内容之间的边界区域被混合。
处理器140可基于关于用户10的注视的信息来确定第二区域22。处理器140可通过传感器120获得关于用户10的注视的信息，并且基于关于用户10的注视的信息将包括镜子显示器110上的与用户10的注视相应的位置的一个区域确定为第二区域。
根据上面参照图5描述的实施例，电子装置100可通过使用关于根据镜子功能显示用户图像的区域的信息和关于入射在镜子显示器110上的光的信息来确定用于显示要提供给用户10的内容的区域，从而提高用户10相对于在镜子显示器110上显示的内容的可见性。
图6是示出用于确定第一区域的实施例的示图。
基于镜子显示器110前面的用户10的运动不大的假设，描述了获得关于第一区域21(其中，第一图像11在第一区域21中被从镜子显示器110反射出)的信息的方法，但是如果用户10的运动大，则可能在很大程度上限制根据从镜子显示器110反射出的用户图像显示内容的区域。因此，处理器140可使用关于用户10的姿势的信息来确定用于显示内容的第一区域21。
详细地，第一传感器120可包括图像传感器120，并且处理器140可通过图像传感器120获得与用户10相应的第二图像。图像传感器120可指能够将通过相机的镜头进入的光转换成电图像信号的传感器120，并且可作为相机的一个组件被包括。在本公开中，通过图像传感器120获得第二图像可由通过相机获得第二图像代替。
通过图像传感器120获得的用户图像通过与术语第一图像11区分开而被称为“第二图像”，术语第一图像11是指当从外部光源30入射的光在镜子显示器110上被反射时从镜子显示器110的区域反射出的用户图像。
一旦获得第二图像，处理器140就可将第二图像输入到训练过的第一神经网络模型中以获得关于用户10的姿势的信息。“第一神经网络模型”是指被训练为基于输入的用户图像获得关于包括在用户图像中的用户10的姿势的信息的模型。具体地，处理器140可通过第一神经网络模型检测包括在第二图像中的用户10，并获得包括用户10的区域的图像数据。处理器140可基于包括在图像数据中的关于用户10的特征点或骨架的信息来获得用户10的姿势信息。
如果如上所述获得了关于用户10的姿势的信息，则处理器140可基于关于用户10的姿势的信息来确定第一区域21的位置和大小。处理器140可基于关于用户10的姿势的信息来估计在预定时段期间根据用户10的姿势在其中显示第一图像11的区域，并且将估计的区域确定为第一区域21。例如，如图6所示，处理器140可基于关于用户10的姿势的信息估计出第一图像11可能在预定时段期间到达镜子显示器110的上部，从而将如图6所示的区域21确定为第二区域22。这里，预定时段期间可由开发者或用户10的设置改变。
如上所述，如果基于关于用户10的姿势的信息确定了第一区域21，则处理器140可基于关于第一区域21的信息确定用于显示内容的第二区域22，基于关于光的信息确定第二区域22的照度，并且以所确定的照度在第二区域22上显示内容。例如，如图6所示，第二区域22可被确定为镜子显示器110上的不与第一区域21重叠的区域之中的镜子显示器110的右上区域。
处理器140可基于关于用户10的姿势的信息来识别要提供给用户10的内容。处理器140可基于关于用户10的姿势的信息来估计用户10的锻炼运动，并识别与估计的运动相应的内容。例如，如图6所示，如果基于关于用户10的姿势的信息，用户10被假设执行“猛冲”移动，则处理器140可识别用于引导“猛冲”移动的推荐内容，并控制镜子显示器110在第二区域22上显示所识别的推荐内容。
参照图6，电子装置100可基于关于用户10的姿势的信息来确定在预定间隔期间根据镜子功能显示用户图像的区域，并且具体地，当用户10的移动大时，可防止镜子显示器110上显示的区域受到从镜子显示器110反射出的用户图像的限制。
图7是示出用于针对包括在内容中的每个对象不同地确定亮度的实施例的图。
在上文中，可通过第二传感器120获得关于从外部光源30入射的光的信息，并且通过将第二区域22的照度确定为与入射在第二区域22上的光的强度相应来显示内容，更具体地，可根据包括在内容中的对象不同地确定第二区域22的照度。在下文中，在图7的描述中，类似于图6的描述，第二区域22被确定为镜子显示器110上的不与第一区域21重叠的区域中的镜子显示器110的右上区域。
具体地，如图7所示，在第二区域22上显示的内容可包括多个对象。作为示例，多个对象可被划分为“人”和“背景”。处理器140可将关于内容的数据输入到训练过的第二神经网络模型中，以识别包括在内容中的多个对象中的每个对象的类型。这里，“第二神经网络模型”是被训练为基于关于内容的数据输出关于包括在内容中的多个对象与多个预定义类别(或类别、域)中的每一个相应的概率的信息的神经网络。
处理器140可基于关于光的信息和多个对象中的每个对象的类型，针对与包括在内容中的多个对象中的每个对象相应的每个区域确定第二区域22的照度。例如，如图7所示，当外部光源30设置在电子装置100的右上端时，用户10相对于在镜子显示器110的右上端上的第二区域22上显示的内容的可见性可能劣化。如图7所示，处理器140可将包括在内容中的多个对象中的“人”的照度确定为高，并且将“背景”的照度确定为低。
处理器140可基于关于光的信息、关于内容的类型的信息和内容的亮度来确定第二区域22的照度。存储器130可存储关于内容的类型(或种类)的信息和与亮度相应的照度，并且处理器140可通过使用关于与内容的类型和内容的照度相应的照度的信息以及关于光的信息来确定第二区域22的照度。例如，如果内容是“战斗电影”并且包括在内容中的图像帧的平均亮度小于预定阈值，则处理器140可确定第二区域22的照度相对低于仅基于关于光的信息确定第二区域22的照度时的照度。
根据上面参照图7描述的实施例，电子装置100可通过根据包括在内容中的对象不同地确定显示内容的区域的照度来显著提高用户10对内容的可见性。
图8示出根据实施例的显示用于控制内容的用户界面的操作。
在以上描述中，与镜子显示器110前面的用户10相应的第一图像11被从第一区域21反射出，并且要提供给用户10的内容被显示在第二区域22上，而用于控制内容的用户界面(UI)可显示在镜子显示器110上。在下文中，如图8所示，第一区域21被确定为镜子显示器110的中心区域，并且第二区域22被确定为镜子显示器110上的不与第一区域21重叠的区域中的镜子显示器110的右上区域。
处理器140可基于关于第一区域21的信息和关于第二区域22的信息来确定用于控制内容的用户10界面的位置，并且控制镜子显示器110在所确定的位置处显示用户10界面。例如，处理器140可控制镜子显示器110在与第一区域21的一部分重叠的区域上显示用户10界面，其中与用户10相应的第一图像11被提供以促进用户10的触摸输入。
用户界面可包括用于控制在第二区域22上显示的内容的多个UI项23-1、23-2、23-3、23-4、23-5。
如图8所示，用户界面可包括与“倒带”功能相应的UI项23-1、与“移动到先前内容”的功能相应的UI项23-2、与“移动到下一内容”的功能相应的UI项23-3、与“快进”功能相应的UI项23-4以及与“播放/暂停”功能相应的UI项23-5。与“移动到先前内容”的功能相应的UI项23-2和与“播放/暂停”功能相应的UI项23-5可与显示第一图像11的第一区域21的一部分重叠。在该示例中，处理器140可处理与UI项23-2和23-5相应的图像，使得UI项23-2和23-5之间的边界区域被混合，从而使UI项与第一图像11协调。
处理器140可对与UI项23-2和23-5相应的图像进行处理，使得第一图像11与UI项23-2和23-5之间的边界区域可混合，但是可对要与第一图像11和内容之间的边界区域混合的内容进行处理。处理器140可对内容进行处理，使得第一区域21和第二区域22之间的边界区域被混合，并且控制镜子显示器110在第二区域22上显示处理后的内容。
根据上面参照图8描述的实施例，电子装置100可显示根据镜子功能从镜子显示器110反射出的用户图像、和用于控制内容的用户界面以及要提供给用户10的内容，从而提高用户10的便利性。
图9是示出根据实施例的电子装置的细节的框图。
如图9中所示，根据实施例的电子装置100还可包括通信接口150、麦克风160和扬声器170以及镜子显示器110、传感器120、存储器130和处理器140。上面已经参照图1至图8描述了镜子显示器110、传感器120、存储器130和处理器140，并且将省略重复的描述。然而，在描述通信接口150、麦克风160和扬声器170之前，将描述存储在存储器130中的“用户数据”和与其相关的实施例。
如图9中所示，存储器130可存储根据本公开的用户数据。这里，“用户数据”用于统指与电子装置100的用户10相关的各种数据。具体地，用户数据可包括用户10的识别信息、个人信息和健康相关信息。
“识别信息”可包括用于识别用户10的面部图像、指纹数据、虹膜数据和账户信息。“用户个人信息”可包括关于用户10的个人信息的信息和关于用户10的日程安排的信息等。“健康相关信息”可包括关于用户10的心率的信息、关于用户10的体温的信息、关于用户10的体重的信息、关于用户10的身体成分的信息、关于用户10的睡眠模式的信息、关于用户10的压力的信息、关于用户的激素的信息、关于用户10的情绪的信息、关于用户10的锻炼历史的信息、关于用户10的锻炼历史的信息等。
用户数据可以是通过包括在电子装置100中的各种类型的传感器120获得的，可以是通过包括在外部装置中的各种类型的传感器120获得的，并且可通过电子装置100的通信接口150从外部装置接收。这里，外部装置可以是用户终端，诸如智能电话、智能手表等，或者可以是被配置为存储/管理用户数据的云服务器或边缘计算装置。
根据实施例，处理器140可基于用户数据识别镜子显示器110前面的用户10是否是预注册用户10。处理器140可根据存储在存储器130中的识别信息是否与通过传感器120获得的识别信息(例如，面部图像、指纹数据或虹膜数据)匹配来识别镜子显示器110的前面的用户10是否是预注册用户10。另外，处理器140可根据存储在存储器130中的账户信息是否与用户10输入的账户信息匹配来识别用户10是否是预注册用户10。
当识别出镜子显示器110的前面的用户10不是预注册用户10时，处理器140可控制镜子显示器110显示包括关于当前时间、当前天气等的信息的基本屏幕。
当镜子显示器110的前面的用户10被识别为预注册用户10时，处理器140可基于用户10的个人信息输出问候消息。例如，处理器140可控制镜子显示器110显示问候消息，诸如“你好，金先生”，并且可通过扬声器170输出与“你好，金先生”相应的语音信号。
如果镜子显示器110的前面的用户10是预注册用户10，则处理器140可控制镜子显示器110显示与预注册用户10相应的健康相关数据。处理器140可控制镜子显示器110显示关于用户10的心率的信息、关于用户10的体温的信息、关于用户10的体重的信息、关于用户10的身体成分的信息、关于用户10的睡眠模式的信息、关于用户10的压力的信息、关于用户的激素的信息、关于用户10的情绪的信息、关于用户10的锻炼历史的信息、关于用户10的锻炼历史的信息等，其中用户10被识别为预注册用户10。
如果镜子显示器110前面的用户10是预注册用户10，则处理器140可基于与预注册用户10相应的健康相关数据来识别要提供给用户10的内容，并控制镜子显示器110在第二区域22上显示所识别的内容。处理器140可识别诸如存储在存储器130中的内容中的最近已经由被识别为预注册用户10的用户10播放的内容、设置为用户10优选的内容、与用户10的健康相关信息中的至少一些相应的推荐内容的内容，并且在第二区域22上显示所识别的内容中的至少一个内容。
可通过训练过的第三神经网络模型来执行基于用户数据识别要提供给用户10的推荐内容的过程。“第三神经网络模型”被训练为识别与用户10的个人信息和健康相关数据相应的内容，并且电子装置100可使用第三神经网络模型来识别要提供给用户10的推荐内容。
虽然提供给用户10的内容存储在电子装置100的存储器130中，但是提供给用户10的内容可存储在外部装置中，并且电子装置100可从外部装置接收内容并且可将接收到的内容提供给用户10。
根据如上所述的实施例，当镜子显示器110的前面的用户10是预注册用户10时，电子装置100可基于用户数据向镜子显示器110的前面的用户10提供个性化的健康相关数据和内容，从而有助于用户10的健康状况管理/改善。
通信接口150可包括电路并且可执行与外部装置的通信。处理器140可从通过通信接口150连接的外部装置接收各种数据或信息，并且可将各种数据或信息发送到外部装置。
通信接口150可包括Wi-Fi模块、蓝牙模块、无线通信模块和近场通信(NFC)模块中的至少一个。具体地，Wi-Fi模块可通过Wi-Fi方法进行通信，并且蓝牙模块可通过蓝牙方法进行通信。当使用Wi-Fi模块或蓝牙模块时，可发送和接收诸如服务集标识符(SSID)的各种连接信息以进行通信连接，然后可发送和接收各种信息。
无线通信模块可根据各种通信规范(诸如IEEE、Zigbee、第三代(3G)、第三代合作伙伴计划(3GPP)、长期演进(LTE)、第五代(5G)等)进行通信。NFC模块可使用各种RF-ID频带(诸如135kHz、13.56MHz、433MHz、860～960MHz、2.45GHz等)中的13.56MHz频带通过NFC方法进行通信。
根据各种实施例，处理器140可通过通信接口150从外部装置接收如上所述的用户数据，并且可将接收到的用户数据存储在存储器130中。
麦克风160可接收语音信号并将接收到的语音信号转换为电信号。根据实施例，处理器140可接收与用户10的语音相应的语音信号，将接收到的语音信号输入到训练过的语音识别模型以获得与语音信号相应的文本信息，并识别与获得的文本信息相应的控制命令。例如，用户语音可与用于改变第二区域22的位置或第二区域22的大小的控制命令、用于改变在第二区域22上显示的内容的类型的控制命令、或者用于控制在第二区域22上显示的内容的控制命令相应。
扬声器170可在处理器140的控制下输出音频数据。根据实施例，扬声器170可输出与第二区域22上显示的内容相应的语音信号、与通过麦克风160接收的用户10的语音相应的反馈语音信号、或者针对预注册用户10的问候消息。
尽管上面已经描述了电子装置100的各种配置，但是上述配置仅仅是示例性的，并且在本公开的实践中，除了如图9所示的配置之外，可添加新的配置或者可省略一些配置。
图10是根据实施例的控制电子装置的方法的流程图。
如图10所示，在操作S1010，电子装置100可感测在镜子显示器的前面的用户。当在操作S1010-N未检测到镜子显示器的前面的用户时，电子装置100可显示待机屏幕，直到感测到镜子显示器的前面的用户。
如果在操作S1010-Y感测到镜子显示器的前面的用户，则在操作S1020，电子装置100可获得关于第一区域的信息，其中，与用户的映像相应的第一图像在第一区域中被从镜子显示器反射出。关于第一区域的信息可包括关于第一区域的大小的信息和关于第一区域的位置的信息。
在操作S1030，电子装置100可基于关于第一区域的信息来确定用于显示要提供给用户的内容的第二区域。电子装置100可基于关于第一区域的大小的信息和关于第一区域的位置的信息来确定用于显示内容的第二区域的位置和大小。根据实施例，第二区域可被确定为镜子显示器上的不与第一区域重叠的区域之一。
电子装置100可通过第二传感器获得关于从外部光源入射的光的信息。关于光的信息可包括关于光的方向的信息和关于光的强度的信息。
当通过第二传感器获得了关于光的信息时，在操作S1040，电子装置100可基于关于光的信息来确定第二区域的照度。在操作S1050，电子装置100可在第二区域上以所确定的照度显示内容。根据实施例，处理器可将第二区域的照度确定为与入射在第二区域上的光的强度相应，并且在第二区域上以所确定的照度显示内容。
根据前述实施例的电子装置100的控制方法可被实现为程序并且被提供给电子装置100。具体地，包括电子装置100的控制方法的程序可存储在非暂时性计算机可读介质中并被提供。
具体地，在包括用于执行电子装置100的控制方法的程序的计算机可读记录介质中，电子装置100的控制方法可包括以下步骤：当感测到镜子显示器的前面的用户时，获得关于第一区域的信息，其中，与用户相应的第一图像在第一区域上被从镜子显示器反射出；基于关于第一区域的信息来确定用于显示要提供给用户的内容的第二区域；当获得了关于从外部光源入射的光的信息时，基于关于光的信息确定第二区域的照度；以及在第二区域上以所确定的照度显示内容。
如上所述，电子装置100可使用关于从外部光源入射的光的信息以及关于第一区域的信息来确定第二区域，使用关于用户的姿势的信息来确定用于显示内容的第一区域，并且可根据包括在内容中的对象来不同地确定第二区域的照度。
非暂时性计算机可读介质是指半永久地存储数据而不是在非常短的时间内存储数据的介质，诸如寄存器、高速缓存、存储器等，并且可由装置读取(即，可由至少一个处理器执行)。详细地，上述各种应用或程序可存储在非暂时性计算机可读介质(例如光盘(CD)、数字通用光盘(DVD)、硬盘、蓝光盘、通用串行总线(USB)、存储卡、只读存储器(ROM)等)中，并且可被提供。
描述了电子装置100的控制方法和包括用于执行电子装置100的控制方法的程序的计算机可读可记录介质，但是这是为了省略冗余的描述，并且电子装置100的各种实施例可应用于电子装置100的控制方法和包括用于执行电子装置100的控制方法的程序的计算机可读可记录介质。
与前述相关的功能可由存储器和处理器执行。
处理器可包括一个或更多个处理器。此时，一个或多个处理器可以是通用处理器(诸如中央处理单元(CPU)、应用处理器(AP)等)、仅图形处理单元(诸如图形处理单元(GPU))、视觉处理单元(VPU)和/或AI专用处理器(诸如神经处理单元(NPU))。
一个或更多个处理器根据存储在非易失性存储器和易失性存储器中的预定义操作规则或人工智能(AI)模型来控制输入数据的处理。通过训练或学习提供预定义的操作规则或人工智能模型。
通过学习提供可指例如通过将学习算法应用于多个学习数据，做出期望特性的预定义操作规则或AI模型。学习可在执行根据实施例的AI的装置本身中执行，和/或可通过单独的服务器/系统实现。
AI模型可包括多个神经网络层。每一层具有多个权重值，并且通过前一层的计算和多个权重的运算来执行层运算。神经网络的示例包括但不限于卷积神经网络(CNN)、深度神经网络(DNN)、递归神经网络(RNN)、受限玻尔兹曼机(RBM)、深度信念网络(DBN)、双向递归深度神经网络(BRDNN)、生成对抗网络(GAN)和深度Q网络。
学习算法可包括用于使用多个学习数据训练预定目标装置(例如，机器人)以使得、允许或控制目标装置进行确定或预测的方法。学习算法的示例包括但不限于监督学习、无监督学习、半监督学习或强化学习。
机器可读存储介质可以以非暂时性存储介质的形式提供。“非暂时性”存储介质可不包括信号(例如，电磁波)并且是有形的，但是不区分数据是永久地还是临时地存储在存储介质中。例如，“非暂时性存储介质”可包括临时存储数据的缓冲器。
根据各种实施例，可在计算机程序产品中提供本文公开的方法。计算机程序产品可作为商品在卖方和买方之间交易。计算机程序产品可以以机器可读存储介质(例如，光盘ROM(CD-ROM))的形式发布，或者通过应用商店(例如，PlayStoreTM)在线发布，或者直接在两个用户装置(例如，智能电话)之间在线发布(例如，下载或上传)。在在线发布的情况下，计算机程序产品(例如，可下载的应用)的至少一部分可临时或至少临时存储在存储介质(诸如制造商的服务器、应用商店中的服务器或中继服务器中的存储器)中。
另外，根据各种实施例的每个组件(例如，模块或程序)可包括单个实体或多个实体，并且可省略上述子组件中的一些子组件，或者可在各种实施例中还包括其他子组件。可选地或附加地，一些组件(例如，模块或程序)可集成为一个实体，以执行在集成之前由相应组件执行的相同或相似的功能。
根据各种实施例，由模块、程序或其他组件执行的操作可以以顺序、并行、迭代或启发式方式执行，或者至少一些操作可以以不同的顺序执行或被省略，或者可添加其他操作。
本公开中使用的术语“单元”或“模块”包括由硬件、软件或固件组成的单元，并且可与诸如例如逻辑、逻辑块、部件或电路的术语互换使用。“单元”或“模块”可以是执行一个或更多个功能的整体构造的部件或最小单元或其部分。例如，模块可被配置为专用集成电路(ASIC)。
实施例可被实现为软件，该软件包括存储在机器(例如，计算机)可读的机器可读存储介质中的指令。装置可从存储介质调用指令并且可根据所调用的指令操作，包括电子装置(例如，电子装置100)。
当指令由处理器执行时，处理器可直接执行与指令相应的功能或者在处理器的控制下使用其他组件执行与指令相应的功能。指令可包括由编译器或解释器生成或执行的代码。
虽然已经示出和描述了本公开的实施例，但是本领域技术人员将理解，在不脱离至少由所附权利要求及其等同物限定的本公开的精神和范围的情况下，可在其中进行形式和细节上的各种改变。

Claims (15)

1.一种电子装置，包括：
第一传感器，被配置为感测用户；
第二传感器，被配置为感测从外部光源入射的光；
镜子显示器；以及
处理器，被配置为：
基于第一传感器感测到在镜子显示器的前面的用户，获得关于镜子显示器上的第一区域的信息，其中，与用户的映像相应的第一图像位于第一区域中，
基于关于第一区域的信息来确定用于显示要提供给用户的内容的第二区域，
基于通过第二传感器获得了关于光的信息，基于所述关于光的信息确定第二区域的照度，以及
控制镜子显示器在第二区域上以所确定的照度显示所述内容。
2.根据权利要求1所述的电子装置，其中，关于第一区域的信息包括关于第一区域的大小的信息和关于第一区域的位置的信息，并且
其中，处理器还被配置为：基于关于第一区域的大小的信息和关于第一区域的位置的信息来确定第二区域的位置和大小。
3.根据权利要求1所述的电子装置，其中，所述关于光的信息包括关于光的方向的信息和关于光的强度的信息，并且
其中，处理器还被配置为：
基于关于第一区域的信息和关于光的方向的信息来确定第二区域的位置和大小，以及
基于关于光的强度的信息来确定第二区域的照度。
4.根据权利要求1所述的电子装置，其中，第一传感器包括图像传感器，并且
其中，处理器还被配置为：
通过图像传感器获得与用户相应的第二图像，
通过将第二图像输入到训练过的神经网络模型中来获得关于用户的姿势的信息，以及
基于关于用户的姿势的信息来确定第一区域的位置和大小。
5.根据权利要求1所述的电子装置，其中，处理器还被配置为：
通过将关于所述内容的数据输入到训练过的神经网络模型来分别识别所述内容内的多个对象的类型，以及
基于所述关于光的信息和所述多个对象中的每个对象的类型，确定第二区域中的与所述多个对象中的每个对象相应的区域的照度。
6.根据权利要求1所述的电子装置，其中，处理器还被配置为：基于所述关于光的信息、关于所述内容的类型的信息和关于所述内容的亮度的信息来确定第二区域的照度。
7.根据权利要求1所述的电子装置，其中，处理器还被配置为：
基于关于第一区域的信息和关于第二区域的信息来确定用于控制所述内容的用户界面的位置，以及
控制镜子显示器在所确定的位置处显示所述用户界面。
8.根据权利要求1所述的电子装置，还包括：
存储器，
其中，处理器还被配置为：
基于存储在存储器中的用户数据来识别用户是否是预注册用户，
基于用户是预注册用户，基于与所述预注册用户相应的用户数据来识别所述内容，以及
控制镜子显示器在第二区域上显示所识别的内容。
9.根据权利要求8所述的电子装置，还包括：
通信接口，
其中，用户数据是通过通信接口从外部装置接收的健康相关数据，并且
其中，所述内容包括与健康相关数据相应的推荐内容。
10.根据权利要求1所述的电子装置，其中，处理器还被配置为：
处理所述内容，使得第一区域和第二区域之间的边界区域被混合，以及
控制镜子显示器在第二区域上显示处理后的内容。
11.一种控制包括镜子显示器的电子装置的方法，所述方法包括：
基于感测到在镜子显示器的前面的用户，获得关于镜子显示器上的第一区域的信息，其中，与用户的映像相应的第一图像位于第一区域中；
基于关于第一区域的信息来确定用于显示要提供给用户的内容的第二区域；
基于通过第二传感器获得了关于光的信息，基于所述关于光的信息来确定第二区域的照度；以及
在第二区域上以所确定的照度显示所述内容。
12.根据权利要求11所述的方法，其中，关于第一区域的信息包括关于第一区域的大小的信息和关于第一区域的位置的信息，并且
其中，确定第二区域的步骤包括：基于关于第一区域的大小的信息和关于第一区域的位置的信息来确定第二区域的位置和大小。
13.根据权利要求11所述的方法，其中，所述关于光的信息包括关于光的方向的信息和关于光的强度的信息，
其中，确定第二区域的步骤包括：基于关于第一区域的信息和关于光的方向的信息来确定第二区域的位置和大小，并且
其中，确定第二区域的照度的步骤包括：基于关于光的强度的信息来确定第二区域的照度。
14.根据权利要求11所述的方法，还包括：
获得与用户相应的第二图像；
通过将第二图像输入到训练过的神经网络模型来获得关于用户的姿势的信息；以及
基于关于用户的姿势的信息来确定第一区域的位置和大小。
15.一种非暂时性计算机可读记录介质，包括用于执行控制电子装置的方法的程序，所述方法包括：
基于感测到在镜子显示器的前面的用户，获得关于镜子显示器上的第一区域的信息，其中，与用户相应的第一图像被显示在第一区域中；
基于关于第一区域的信息来确定用于显示要提供给用户的内容的第二区域；
基于通过第二传感器获得了关于光的信息，基于所述关于光的信息确定第二区域的照度；以及
在第二区域上以所确定的照度显示所述内容。
CN202280009109.4A 2021-03-17 2022-03-16 电子装置及其控制方法 Pending CN116745842A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR1020210034481A KR20220129769A (ko) 2021-03-17 2021-03-17 전자 장치 및 전자 장치의 제어 방법
KR10-2021-0034481 2021-03-17
PCT/KR2022/003665 WO2022197089A1 (ko) 2021-03-17 2022-03-16 전자 장치 및 전자 장치의 제어 방법

Publications (1)

Publication Number Publication Date
CN116745842A true CN116745842A (zh) 2023-09-12

Family

ID=83321171

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202280009109.4A Pending CN116745842A (zh) 2021-03-17 2022-03-16 电子装置及其控制方法

Country Status (5)

Country Link
US (2) US11842027B2 (zh)
EP (1) EP4210042A4 (zh)
KR (1) KR20220129769A (zh)
CN (1) CN116745842A (zh)
WO (1) WO2022197089A1 (zh)

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070124694A1 (en) * 2003-09-30 2007-05-31 Koninklijke Philips Electronics N.V. Gesture to define location, size, and/or content of content window on a display
US20130171601A1 (en) 2010-09-22 2013-07-04 Panasonic Corporation Exercise assisting system
US9633460B2 (en) * 2013-03-15 2017-04-25 Cyberlink Corp. Systems and methods for seamless patch matching
KR102209745B1 (ko) * 2014-03-18 2021-01-29 광운대학교 산학협력단 광고 및 쇼핑 등 정보를 표시하기 위하여 사용자의 투영 영상 인식을 통한 미러 디스플레이의 정보 표시 장치 및 방법
WO2016048102A1 (en) 2014-09-26 2016-03-31 Samsung Electronics Co., Ltd. Image display method performed by device including switchable mirror and the device
KR20170055811A (ko) * 2015-11-12 2017-05-22 삼성전자주식회사 디스플레이를 구비한 전자 장치 및 전자 장치에서 디스플레이의 동작을 제어하기 위한 방법
EP3436855A4 (en) * 2016-06-30 2019-12-11 Hewlett-Packard Development Company, L.P. SMART MIRROR
KR102193036B1 (ko) 2016-07-05 2020-12-18 삼성전자주식회사 디스플레이장치, 디스플레이장치의 구동방법 및 컴퓨터 판독가능 기록매체
KR102501676B1 (ko) 2016-07-07 2023-02-21 삼성전자주식회사 눈부심 현상이 개선된 디스플레이장치 및 그 제어방법
KR20180058363A (ko) * 2016-11-24 2018-06-01 삼성전자주식회사 디스플레이 장치 및 그 제어 방법
KR20180089646A (ko) 2017-02-01 2018-08-09 한국해양대학교 산학협력단 다기능 스마트 거울
CN207397618U (zh) 2017-08-15 2018-05-22 王晓剑 一种镜面广告机
WO2019078867A1 (en) * 2017-10-19 2019-04-25 Hewlett-Packard Development Company, L.P. CONTENT ARRANGEMENTS ON MIRROR DISPLAY DEVICES
JP2021103341A (ja) * 2018-03-30 2021-07-15 ソニーグループ株式会社 情報処理装置、情報処理方法、および、プログラム
KR102457296B1 (ko) 2018-05-29 2022-10-21 큐리어서 프로덕츠 인크. 상호작용식 훈련 및 데몬스트레이션을 위한 반사 비디오 디스플레이 장치 및 그 사용 방법들
KR102615196B1 (ko) * 2018-08-21 2023-12-18 삼성전자주식회사 객체 검출 모델 트레이닝 장치 및 방법
KR102106708B1 (ko) 2018-09-20 2020-05-06 주식회사 에스지엠 업적달성 화면을 보여주는 스크린 스포츠 시스템
KR20200099246A (ko) 2019-02-13 2020-08-24 경운대학교 산학협력단 피부관리용 스마트 거울
KR20200107520A (ko) * 2019-03-08 2020-09-16 전진 스마트 미러 시스템 및 스마트 미러 제어 방법
KR102188766B1 (ko) 2020-03-09 2020-12-11 주식회사 글로벌비즈텍 인공지능 기반의 헬스케어 서비스 제공장치

Also Published As

Publication number Publication date
US20240086028A1 (en) 2024-03-14
EP4210042A1 (en) 2023-07-12
US11842027B2 (en) 2023-12-12
WO2022197089A1 (ko) 2022-09-22
KR20220129769A (ko) 2022-09-26
EP4210042A4 (en) 2024-04-24
US20220365635A1 (en) 2022-11-17

Similar Documents

Publication Publication Date Title
KR102659288B1 (ko) 전자 장치 및 그 동작 방법
US20210256264A1 (en) Data recognition model construction apparatus and method for constructing data recognition model thereof, and data recognition apparatus and method for recognizing data thereof
CN105654952B (zh) 用于输出语音的电子设备、服务器和方法
CN110447232B (zh) 用于确定用户情绪的电子设备及其控制方法
KR102459221B1 (ko) 전자 장치, 이의 영상 처리 방법 및 컴퓨터 판독가능 기록 매체
US20210081754A1 (en) Error correction in convolutional neural networks
US10992839B2 (en) Electronic device and method for controlling the electronic device
US20190279345A1 (en) Method for correcting image by device and device therefor
KR102530045B1 (ko) 전자 장치 및 그 동작 방법
US20190228294A1 (en) Method and system for processing neural network model using plurality of electronic devices
US20200265627A1 (en) Method of controlling display of avatar and electronic device therefor
US20210232863A1 (en) Electronic device and controlling method of electronic device
US20220270262A1 (en) Adapted scanning window in image frame of sensor for object detection
KR20200036680A (ko) 감정 정보 획득을 위한 전자 장치 및 방법
US20210015376A1 (en) Electronic device and method for measuring heart rate
KR102396794B1 (ko) 전자 장치 및 이의 제어 방법
KR102384878B1 (ko) 동영상을 필터링하는 방법 및 장치
US11842274B2 (en) Electronic apparatus and controlling method thereof
US10997947B2 (en) Electronic device and control method thereof
US20210004702A1 (en) System and method for generating information for interaction with a user
CN116745842A (zh) 电子装置及其控制方法
KR20220052779A (ko) 전자 장치 및 전자 장치의 제어 방법
KR20220023212A (ko) 단말의 모델을 갱신하는 서버 및 그 동작 방법
KR20220052500A (ko) 전자 장치 및 이의 제어 방법
KR20210153502A (ko) 전자 장치 및 전자 장치의 제어 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination