CN119856484A - 电子装置及其控制方法 - Google Patents

电子装置及其控制方法 Download PDF

Info

Publication number
CN119856484A
CN119856484A CN202480001724.XA CN202480001724A CN119856484A CN 119856484 A CN119856484 A CN 119856484A CN 202480001724 A CN202480001724 A CN 202480001724A CN 119856484 A CN119856484 A CN 119856484A
Authority
CN
China
Prior art keywords
information
projection surface
format
screens
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202480001724.XA
Other languages
English (en)
Inventor
朴在成
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020230108137A external-priority patent/KR20250026970A/ko
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN119856484A publication Critical patent/CN119856484A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H04N9/3188—Scale or resolution adjustment
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/485—End-user interface for client configuration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/485—End-user interface for client configuration
    • H04N21/4858—End-user interface for client configuration for modifying screen layout parameters, e.g. fonts, size of the windows
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H04N9/3185—Geometric adjustment, e.g. keystone or convergence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191—Testing thereof
    • H04N9/3194—Testing thereof including sensor feedback
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0464—Positioning

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Geometry (AREA)
  • General Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

一种电子装置，包括图像投影单元、被配置为存储至少一个指令的存储器、以及连接到图像投影单元和存储器以控制电子装置的一个或多个处理器，并且一个或多个处理器被配置为：通过执行至少一个指令，基于捕获投影表面的图像，识别投影表面的特征信息，识别与以多视图模式提供的多个图像相对应的第一格式信息，基于投影表面的特征信息和第一格式信息，获得与多个图像相对应的多个屏幕的布局信息，并且控制投影单元，使得基于布局信息提供多个图像。

Description

电子装置及其控制方法
技术领域
本公开涉及一种电子装置及其控制方法，并且更具体地，涉及一种投影图像的电子装置及其控制方法。
背景技术
随着电子技术的发展，各种类型的电子设备正在被开发和普及。特别地，在诸如家庭、办公室和公共空间的各种地方使用的电子设备近年来持续发展。
特别地，光束投影仪用于诸如办公室、剧院、家庭和商店的各种地方，并且对应市场持续增长。对于家用/便携式光束投影仪，由于LED光源的高效率和低功耗，具有各种形状因子的产品数量正在增加，并且市场每年增长超过10％至15％。
另外，随着光束投影仪设备和外部设备之间的有线和无线接口能力的最近增加，可以经由Wi-Fi和5G网络实时选择和输出各种内容，并且在多个设备之间共享和控制内容。在这种情境下，从单个投影仪设备向屏幕输出各种输入的多视图功能是有必要的，用于扩展用户体验。
发明内容
解决方案
根据一个或多个实施例的电子装置包括图像投影单元、被配置为存储至少一个指令的存储器以及一个或多个处理器，该一个或多个处理器被配置为：通过执行至少一个指令，基于捕获投影表面的图像，识别投影表面的特征信息；识别与以多视图模式提供的多个图像相对应的第一格式信息；基于投影表面的特征信息和第一格式信息获得与多个图像相对应的多个屏幕的布局信息；以及控制投影单元，使得多个图像基于布局信息被投影到投影表面。
根据一个或多个实施例，投影表面的特征信息可以包括形状信息、结构信息、尺寸信息、颜色信息、反射率信息或障碍物信息中的至少一个。
根据一个或多个实施例，与多个图像对应的第一格式信息可以包括多个图像的分辨率信息或宽高比信息中的至少一个。
根据一个或多个实施例，多个屏幕的布局信息可以包括多个屏幕的分辨率信息、宽高比信息、位置信息或方向信息中的至少一个。
根据一个或更多个实施例，至少一个处理器可被配置为通过执行至少一个指令，基于投影表面的特征信息对投影表面执行梯形校正，识别与在其上执行梯形校正的投影表面相对应的多个第二格式信息，基于第一格式信息和多个第二格式信息识别损失信息，并且基于损失信息获得多个屏幕的布局信息。
根据一个或多个实施例，一个或多个处理器可被配置为通过执行至少一个指令，基于第一格式信息和多个第二格式信息之间的相似度来识别与多个第二格式信息中的每一个相对应的损失信息，并且基于多个第二格式信息中具有最小损失信息的第二格式信息来获得多个屏幕的布局信息。
根据一个或更多个实施例，一个或更多个处理器可以被配置为通过执行至少一个指令：基于第一格式信息和多个第二格式信息之间的相似度来识别与包括在多个第二格式信息中的分辨率信息和宽高比信息中的每一个相对应的损失信息；基于与分辨率信息和宽高比信息中的每一个相对应的损失信息来识别累积损失信息；以及识别多个第二格式信息中具有最小累积损失信息的第二格式信息。
根据一个或多个实施例，一个或多个处理器可以被配置为通过执行至少一个指令：识别包括在第一格式信息中的第一分辨率信息与包括在多个第二格式信息中的多个第二分辨率信息之间的多个第一损失信息，识别包括在第一格式信息中的第一宽高比信息与包括在多个第二格式信息中的多个第二宽高比信息之间的多个第二损失信息，基于多个第一损失信息和多个第二损失信息识别与多个第二格式信息中的每一个相对应的累积损失信息，并且基于所识别的累积损失信息识别多个第二格式信息中具有最小累积损失信息的第二格式信息。
根据一个或多个实施例，一个或多个处理器可以被配置为通过执行至少一个指令，控制图像投影单元基于多个屏幕的布局信息投影指示多个屏幕的放置状态的UI信息，并且基于响应于用户命令选择投影的UI信息，基于多个屏幕的布局信息提供多视图模式。
根据一个或多个实施例，UI信息可以包括用于调整多个屏幕的尺寸、方向或角度中的至少一个的引导UI。
根据一个或更多个实施例，一个或更多个处理器可以被配置为通过执行至少一个指令，基于响应于用户命令而选择的多个图像中的一个图像的位置，识别与多个图像中的剩余图像相对应的第一格式信息，基于投影表面的特征信息和第一格式信息获得与剩余图像相对应的屏幕的布局信息，并且基于获得的布局信息控制图像投影单元提供剩余图像。
根据一个或多个实施例，一个或多个处理器可以被配置为通过执行至少一个指令，识别在捕获投影表面的图像中包括的平面的数量，识别对于每个识别的平面有效的投影图像的区域、方向和比例，基于识别的有效投影图像的区域、方向和比例提供用于多视图模式的引导UI，并且基于通过引导UI选择的投影表面布局获得与多个图像相对应的多个屏幕的布局信息。
根据一个或多个实施例的电子装置的控制方法包括：基于捕获投影表面的图像，识别投影表面的特征信息，识别与以多视图模式提供的多个图像相对应的第一格式信息，基于投影表面的特征信息和第一格式信息获得与多个图像相对应的多个屏幕的布局信息，以及基于布局信息将多个图像投影到投影表面。
在存储计算机指令的非暂时性计算机可读存储介质中，计算机指令在由根据一个或多个实施例的电子装置的处理器执行时使电子装置执行操作，该操作包括：基于捕获投影表面的图像，识别投影表面的特征信息，识别与以多视图模式提供的多个图像相对应的第一格式信息，基于投影表面的特征信息和第一格式信息获得与多个图像相对应的多个屏幕的布局信息，以及基于所述布局信息将所述多个图像投影到所述投影表面。
附图说明
图1A至图1C是被提供用于解释根据一个或多个实施例的提供多视图模式的方法的视图；
图2A是示出根据实施例的电子装置的配置的框图；
图2B是详细示出根据一个或多个实施例的电子装置的配置的框图；
图3是被提供用于解释根据一个或多个实施例的电子装置的控制方法的流程图；
图4A至图4C是被提供用于解释根据一个或多个实施例的识别投影表面的特征信息的方法的视图；
图5是被提供用于解释根据一个或多个实施例的电子装置的控制方法的流程图；
图6是被提供用于解释根据一个或多个实施例的电子装置的控制方法的流程图；
图7是被提供用于解释根据一个或多个实施例的电子装置的控制方法的流程图；
图8A至图8E是被提供用于解释根据一个或多个实施例的在投影环境中提供多视图模式的方法的视图；以及
图9是被提供用于解释根据一个或多个实施例的电子装置的控制方法的流程图。
具体实施方式
在下文中，参考附图详细描述本公开。
考虑到它们在本公开中的功能，选择当前广泛使用的一般术语作为在本公开的实施例中使用的术语，并且可以基于本领域技术人员的意图或司法判例、新技术的出现等来改变。另外，在特定情况下，可能存在申请人任意选择的术语。在这种情况下，这些术语的含义在本公开的相应描述中详细提及。因此，在本公开的实施例中使用的术语需要基于贯穿本公开的术语和内容的含义而不是术语的简单名称来定义。
在本公开中，表述“具有”、“可以具有”、“包括”、“可以包括”等指示对应特征(例如，数值、功能、操作或诸如部件的组件)的存在，并且不排除附加特征的存在。
在本公开中，表述“A或B”、“A或/和B中的至少一个”、“A或/和B中的一个或多个”、“A或B中的至少一个”、“A和B中的至少一个”、“A、B和C中的至少一个”或“A、B或C中的至少一个”等可以包括一起列出的一个或多个项目的任何和所有组合。例如，表述“A或B”、“A和B中的至少一个”或“A或B中的至少一个”可以指以下所有情况：(1)包括至少一个A、情况(2)包括至少一个B、情况(3)包括至少一个A和至少一个B两者。作为附加示例，表述“A、B或C中的至少一个”或“A、B和C中的至少一个”可以指以下所有情况：(1)包括至少一个A，情况(2)包括至少一个B，情况(3)包括至少一个C，情况(4)包括至少一个A和至少一个B两者，情况(5)包括至少一个A和至少一个C两者。包括至少一个B和至少一个C两者的情况(6)，包括A、至少一个B和至少一个C中的至少一个的情况(7)。
本公开中使用的表述“第一”、“第二”等可以指示各种组件，而不管组件的顺序和/或重要性。这些表述仅用于将一个组件与另一组件区分开，并且不限制相应的组件。
在任何组件(例如，第一组件)被提及为“与另一组件(例如，第二组件)”(可操作地或通信地)耦合/耦合到另一组件(例如，第二组件)”或“连接到另一组件(例如，第二组件)”的情况下，应当理解，任何组件直接耦合到另一组件或者可以通过又一组件(例如，第三组件)耦合到另一组件。
取决于情况，本公开中使用的表达“配置(或设置)为”可以由表达代替，例如“适合于”、“具有能力”、“设计为”、“适应于”、“制造为”或“能够”。术语“配置(或设置)为”可能不一定意味着在硬件中“专门设计为”。
在一些情况中，表述“装置被配置为”可以指装置“能够”与其他装置或组件一起。例如，“被配置(或设置)为执行A、B和C的处理器”可以表示用于执行相应操作的专用处理器(例如，嵌入式处理器)或可以通过执行存储在存储器装置中的一个或多个软件程序来执行相应操作的通用处理器(例如，中央处理单元(CPU)或应用处理器)。
除非在上下文中另有明确说明，否则单数的术语可以包括其复数。应当理解，本申请中使用的术语“包括”、“由……形成”等指定说明书中提及的特征、数字、步骤、操作、组件、部分或其组合的存在，并且不排除存在或添加一个或多个其他特征、数字、步骤、操作、组件、部分或其组合。
在实施例中，“～模块”或“～器”可以执行至少一个功能或操作，并且由硬件或软件实现，或者由硬件和软件的组合实现。另外，多个“～模块”或多个“～器”可以集成在至少一个模块中，并且除了需要由特定硬件实现的“～模块”或“～器”之外，由至少一个处理器(未示出)实现。
同时，示意性地绘制了附图中的各种元件和区域。因此，本公开的技术概念不受附图中绘制的相对尺寸或间隔的限制。
在下文中，将参考附图更详细地描述本公开的实施例。
图1A至图1C是被提供用于解释根据一个或多个实施例的提供多视图模式的方法的视图。
当使用投影仪执行多视图功能时，用户可以通过使用遥控器选择多视图的布局和期望输出到布局的多个输入源来执行多视图模式(或多视图功能)。这里，多视图模式可以是在多个分屏上提供经由多个输入源接收的多个图像的模式。
在TV的情况下，根据TV屏幕的尺寸和相应的布局来选择与固定宽高比和尺寸相对应的输入源，而在投影仪的情况下，屏幕尺寸可以根据投影环境而变化。
例如，如图1A所示，根据投影表面所处的环境，可能存在障碍物20和30存在于投影表面10上的情况。
在这种情况下，问题在于，当调整投影表面10的尺寸以避开障碍物20、30时，如图1B所示，用户可能无法针对在多视图模式下提供的多个图像11、12以期望的分辨率观看屏幕。
在这种情况下，通过考虑适合于以多视图模式提供图像的屏幕的位置和尺寸，考虑如图1C所示的投影表面的环境，可以在提供多个图像11、12时提供最佳多视图模式。
因此，在下文中，将描述每当投影环境变化时可以通过提供适合于投影环境的多视图布局来增强用户的UX体验的各种实施例。
图2A是示出根据实施例的电子装置的配置的框图。
参考图2A，电子装置100可以包括图像投影单元110、存储器120和一个或多个处理器130。电子装置100可以被实现为将图像投影到墙壁或投影表面上的投影仪，或者具有图像投影能力的任何其他类型的设备。例如，电子装置100可以被实现为可以移动的可移动投影仪。
图像投影单元110可以执行将光投影到外部以表示图像并将图像输出到投影表面的功能。这里，投影表面可以是图像被输出的物理空间的一部分，或者可以是单独的投影表面。图像投影单元110可以包括各种详细配置，诸如灯、LED或激光器中的至少一个的光源、投影透镜、反射器等。
图像投影单元110可以以各种投影方法(例如，阴极射线管(CRT)方法、液晶显示器(LCD)方法、数字光处理(DLP)方法、激光方法等)中的一种投影图像。图像投影单元110可以包括至少一个光源。
图像投影单元110可以取决于电子装置100的目的和用户的设置以4:3的屏幕比、5:4的屏幕比和16:9的宽屏幕比输出图像，并且可以根据屏幕比以诸如WVGA(854*480)、SVGA(800*600)、XGA(1024*768)、WXGA(1280*720)、WXGA(1280*800)、SXGA(1280*1024)、UXGA(1600*1200)、全HD(1920*1080)等的各种分辨率输出图像。
另外，图像投影单元110可以在处理器130的控制下执行各种功能以调整投影图像。例如，图像投影单元110可以执行缩放功能、透镜移位功能等。
存储器120可以存储各种实施例所需的信息。存储器120可以根据数据存储目的以嵌入在电子装置100'中的存储器形式或以可从电子装置100拆卸的存储器形式实现。例如，用于驱动电子装置100的数据可以存储在嵌入在电子装置100'中的存储器中，并且用于电子装置100的扩展功能的数据可以存储在可从电子装置100拆卸的存储器中。同时，嵌入在电子装置100中的存储器可以被实现为易失性存储器(例如，动态RAM(DRAM)、静态RAM(SRAM)或同步动态RAM(SDRAM))和非易失性存储器(例如，一次性可编程ROM(OTPROM)、可编程ROM(PROM)、可擦除可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)、掩模ROM、闪存ROM、闪存(例如，NAND闪存或NOR闪存)、硬盘驱动器或固态驱动器(SSD))中的至少一个。另外，可从电子装置100'拆卸的存储器可以以存储卡(例如，紧凑型闪存(CF)、安全数字(SD)、微型安全数字(Micro-SD)、迷你安全数字(Mini-SD)、极端数字(xD)或多媒体卡(MMC))、可连接到USB端口的外部存储器(例如，USB存储器)等的形式实现。
一个或多个处理器130控制电子装置100的整体操作。具体地，一个或多个处理器130可以连接到电子装置100的每个配置，以控制电子装置100的整体操作。例如，一个或多个处理器130可以电连接到显示器110和存储器120以控制电子装置100的整体操作。一个或多个处理器130可以由一个或多个处理器组成。
一个或多个处理器130可以执行存储在存储器120中的至少一个指令以执行根据各种实施例的电子装置100的操作。
一个或多个处理器130可以包括中央处理单元(CPU)、图形处理单元(GPU)、加速处理单元(APU)、集成众核(MIC)、数字信号处理器(DSP)、神经处理单元(NPU)、硬件加速器或机器学习加速器中的一个或多个。一个或多个处理器130可以控制电子装置的其他组件中的一个或任何组合，并且可以执行与通信相关的操作或数据处理。一个或多个处理器130可以执行存储在存储器中的一个或多个程序或指令。例如，一个或更多个处理器可以通过执行存储在存储器中的一个或更多个指令来执行根据实施例的方法。
在根据本公开的实施例的方法包括多个操作的情况下，多个操作可以由一个处理器或多个处理器执行。例如，在通过根据实施例的方法执行第一操作、第二操作和第三操作的情况下，第一操作、第二操作和第三操作全部可以由第一处理器执行，或者第一操作和第二操作可以由第一处理器(例如，通用处理器)执行，并且第三操作可以由第二处理器(例如，人工智能专用处理器)执行。
一个或多个处理器130可以被实现为包括一个核的单核处理器，或者可以被实现为包括多个核(例如，同构多核或异构多核)的一个或多个多核处理器。在一个或多个处理器130被实现为多核处理器的情况下，多核处理器中包括的多个核中的每一个可以包括处理器内部存储器，诸如高速缓存存储器或片上存储器，并且多核处理器中可以包括由多个核共享的公共高速缓存。另外，包括在多核处理器中的多个核中的每一个(或多个核中的一些)可以独立地读取和执行用于实现根据一个或多个实施例的方法的程序指令，或者多个核中的全部(或一些)可以彼此链接以读取和执行用于实现根据一个或多个实施例的方法的程序指令。
在根据实施例的方法包括多个操作的情况下，多个操作可以由多核处理器中包括的多个核中的一个执行，或者可以由多个核执行。例如，在通过根据实施例的方法执行第一操作、第二操作和第三操作的情况下，第一操作、第二操作和第三操作全部可以由包括在多核处理器中的第一核执行，或者第一操作和第二操作可以由包括在多核处理器中的第一核执行，并且第三操作可以由包括在多核处理器中的第二核执行。
另外，电子装置100可以通过使用包括在一个处理器中的多核(例如，双核或四核)来执行与人工智能相关的函数的计算。具体地，电子装置100可以使用处理器中包括的多核并行地执行诸如卷积计算和矩阵乘法计算的人工智能计算。
在本公开的实施例中，处理器可以指其中集成有一个或多个处理器和其他电子组件的片上系统(SoC)、单核处理器、多核处理器或包括在单核处理器或多核处理器中的核。这里，核可以被实现为CPU、GPU、APU、MIC、DSP、NPU、硬件加速器、机器学习加速器等，但是本公开的实施例不限于此。在下文中，为了便于解释，一个或多个处理器130将被称为处理器130。
图2B是详细示出根据一个或多个实施例的电子装置的配置的框图。
参考图2B，电子装置100'可以包括图像投影单元110、存储器120、一个或多个处理器130、相机140、通信接口150、用户接口160和传感器170。将不详细描述图2B中所示的作为图2A中所示的配置的冗余的任何配置。
相机140可以响应于预设事件被打开以执行拍摄。相机140可以将捕获的图像转换为电信号并基于转换的信号生成图像数据。例如，可以经由半导体光学器件(CCD)将对象转换为电图像信号，并且转换的图像信号可以被放大，转换为数字信号，然后进行信号处理。例如，相机140可以包括通用(或基本)相机或超广角相机中的至少一个。
通信接口150根据电子装置100'的示例性实施例还可以被实现为各种接口。例如，通信接口150可以通过诸如蓝牙、基于AP的Wi-Fi(无线LAN网络)、Zigbee、有线/无线局域网(LAN)、广域网(WAN)、以太网、IEEE 1394、高清多媒体接口(HDMI)、通用串行总线(USB)、移动高清链路(MHL)、音频工程学会/欧洲广播联盟(AES/EBU)、光学、同轴等通信方法与外部设备、外部存储介质(例如，USB存储器)、外部服务器(例如，web硬盘驱动器)等进行通信。根据实施例，通信接口150可以执行与其他电子设备、外部服务器和/或遥控装置等的通信。
用户接口160可以被实现为诸如触摸板、鼠标和键盘的设备，或者可以被实现为能够执行上述显示功能和操纵输入功能的触摸屏。
传感器170可以包括各种类型的传感器，诸如触摸传感器、接近传感器、加速度传感器(或重力传感器)、地磁传感器、陀螺仪传感器、压力传感器、位置传感器、距离传感器、照度传感器等。距离传感器被配置为检测距投影表面的距离。距离传感器可以被实现为各种类型的传感器，诸如超声波传感器、红外传感器、LIDAR传感器、RADAR传感器和光电二极管传感器等。地磁传感器或陀螺仪传感器可用于获得偏航信息。
图3是被提供用于解释根据一个或多个实施例的电子装置的控制方法的流程图。
根据图3所示的实施例，处理器130可以基于捕获投影表面的图像来识别投影表面的特征信息(S310)。例如，投影表面的特征信息可以包括投影表面的形状信息、结构信息、尺寸信息、颜色信息、反射率信息或障碍物信息中的至少一个。
例如，处理器130可以通过使用诸如边缘分析、纹理分析、颜色分析等的预定分析方法来获得投影表面的特征信息。例如，处理器130可以使用对象识别、对象检测、对象跟踪或图像分割中的至少一个来识别捕获的图像中包括的障碍物信息。例如，处理器130可以使用诸如语义分割(其根据需要按类型对图像中包括的对象进行分类和提取)、实例分割(其通过对相同类型的对象进行分类来识别对象)以及当检测到图像中包括的对象时包括检测到的对象的矩形边界框的技术来识别障碍物信息。
例如，处理器130可以通过将捕获的图像输入到训练的第一神经网络模型来获得投影表面的特征信息。例如，当输入捕获的图像时，可以训练第一神经网络模型以输出投影表面的形状信息、结构信息、尺寸信息、颜色信息、反射率信息或障碍物信息中的至少一个。
处理器130可以识别与以多视图模式提供的多个图像相对应的第一格式信息(S320)。这里，多视图模式可以是在多个分屏上提供经由多个输入源接收的多个图像的模式。例如，与多个图像相对应的第一格式信息可以包括多个图像中的每一个的分辨率信息或宽高比信息中的至少一个。例如，处理器130可以基于在多视图模式下可用的多个输入源中的每一个的特征中的至少一个或经由多个输入源中的每一个提供的图像的特征中的至少一个来获得多个图像中的每一个的分辨率信息和宽高比信息。
处理器130可以基于投影表面的特征信息和第一格式信息获得与多个图像相对应的多个屏幕的布局信息(S330)。
例如，多个屏幕的布局信息可以包括多个屏幕的分辨率信息、宽高比信息、位置信息或方向信息中的至少一个。例如，处理器130可以基于投影表面的特征信息获得适合于第一格式信息的多个屏幕的布局信息。
例如，处理器130可以通过将投影表面的特征信息和第一格式信息输入到训练的第二神经网络模型来获得多个屏幕的布局信息。例如，当输入投影表面的特征信息和第一格式信息时，可以训练第二神经网络模型以输出多个屏幕的分辨率信息、宽高比信息、位置信息或方向信息中的至少一个。
例如，处理器130可以通过将捕获的图像和第一格式信息输入到训练的第三神经网络模型来获得投影表面的特征信息。例如，当输入捕获的图像和第一格式信息时，可以训练第二神经网络模型以输出多个屏幕的分辨率信息、宽高比信息、位置信息或方向信息中的至少一个。
处理器130可以控制图像投影单元110基于多个屏幕的布局信息提供多个图像(S340)。例如，处理器130可以控制图像投影单元110基于多个屏幕的分辨率信息和宽高比信息来提供多个图像。
图4A至图4C是被提供用于解释根据一个或多个实施例的识别投影表面的特征信息的方法的视图。
根据一个或更多个实施例，处理器130可以识别投影表面的形状信息、结构信息、尺寸信息、颜色信息、反射率信息或障碍物信息中的至少一个，并且基于所识别的信息来计算投影表面上可用的区域的数量。例如，处理器130可以基于投影表面的特征来识别可以在投影表面上提供的多个区域(或分割表面)。例如，处理器140可以通过投影表面内的直结构识别、颜色识别、反射率差异识别等将投影表面识别为多个区域。
例如，当识别平面投影表面时，如图4A所示，可以识别可以基于包括在投影表面410中的障碍物的位置或大小中的至少一个来提供的多个区域411、412。
例如，当识别平面投影表面时，如图4B所示，可以识别可以基于包括在投影表面410中的障碍物的位置或大小中的至少一个来提供的多个区域413、414。
例如，当识别平面投影表面时，如图4C所示，可以识别可以基于包括在投影表面410中的障碍物的位置或大小中的至少一个来提供的多个区域415、416。
图5是被提供用于解释根据一个或多个实施例的电子装置的控制方法的流程图。
根据图5所示的实施例，处理器130可以识别与以多视图模式提供的多个图像相对应的第一格式信息(S510)。例如，与多个图像相对应的第一格式信息可以包括多个图像中的每一个的分辨率信息或宽高比信息中的至少一个。例如，处理器130可以基于在多视图模式下可用的多个输入源中的每一个的特征来获得多个图像中的每一个的分辨率信息和宽高比信息。
处理器130可以基于捕获投影表面的图像来识别投影表面的特征信息(S520)。例如，投影表面的特征信息可以包括投影表面的形状信息、结构信息、尺寸信息、颜色信息、反射率信息或障碍物信息中的至少一个。
处理器130可以基于投影表面的特征信息对投影表面执行梯形校正(S530)。例如，具有投影图像的能力(即，投影仪功能)的电子装置100可以在投影仪与投影表面成直线时以相对准确的比例显示屏幕，但是可能投影偏离投影表面的屏幕，或者可能在由于空间限制而不满足上述条件时投影向上、向下、向左、向右或向左失真的菱形屏幕。在这种情况下，可能需要梯形校正。梯形校正是指通过投影屏幕就像强制移动所显示屏幕(即，投影屏幕)的角落以更接近正方形的原始形状一样的调节功能。可以使用各种常规方法作为梯形校正方法，因此将省略其详细说明。
处理器130可以识别与在其上执行梯形校正的投影表面相对应的第二格式信息(S540)。例如，与多个图像相对应的第二格式信息可以包括在对其执行梯形校正的投影表面中包括的每个分割表面的分辨率信息或宽高比信息中的至少一个。例如，第二格式信息可以包括梯形校正之后的投影有效区域的分辨率信息和宽高比信息。这里，投影有效区域可以意指通过避开投影表面中的障碍物而能够被投影的区域。
例如，处理器130可以基于如图4A至图4C所示的投影表面的可用屏幕配置来识别包括在每个投影表面中的每个分屏的分辨率信息和宽高比信息。
处理器130可以基于第一格式信息和第二格式信息来识别损失信息(S550)。例如，与多个图像相对应的第一格式信息可以包括多个图像中的每一个的分辨率信息或宽高比信息中的至少一个。
处理器130可以基于损失信息获得多个屏幕的布局信息(S560)。例如，多个屏幕的布局信息可以包括多个屏幕的分辨率信息、宽高比信息、位置信息或方向信息中的至少一个。
根据实施例，处理器130可以基于第一格式信息和多个第二格式信息之间的相似度来识别与多个第二格式信息中的每一个相对应的损失信息(或差异信息)。这里，损失信息可以是基于多个第二格式信息中的每一个相对于第一格式信息之间的差异的幅度(或量)的信息。例如，处理器130可以基于多个第二格式信息中具有最小损失信息的第二格式信息来获得多个屏幕的布局信息。
例如，处理器130可以基于第一格式信息和多个第二格式信息之间的相似度来识别与多个第二格式信息中包括的分辨率信息和宽高比信息中的每一个相对应的损失信息。处理器130可以基于与分辨率信息和宽高比信息中的每一个相对应的损失信息来识别累积损失信息，并且识别多个第二格式信息中具有最小累积损失信息的第二格式信息。
例如，处理器130可以基于包括在第一格式信息中的第一分辨率信息与包括在多个第二格式信息中的每一个中的第二分辨率信息之间的相似性来识别分辨率损失信息。例如，分辨率损失信息可以被计算为分辨率损失＝(Loss1+Loss2+...+LossN)。这里，Loss1(resolution)＝输入源#1分辨率-可以在分割区域#1中显示的分辨率，Loss2(resolution)＝输入源#2分辨率-可以在分割区域#2中显示的分辨率，并且LossN(resolution)＝输入源#N分辨率-可以在分割区域#N中显示的分辨率。
例如，处理器130可以基于包括在第一格式信息中的第一宽高比信息与包括在多个第二格式信息中的每一个中的第二宽高比信息之间的相似度来识别宽高比损失信息。例如，宽高比损失信息可以被计算为R宽高比损失＝(Loss1+Loss2+...+LossN)。这里，Loss1(aspect ratio)＝输入源#1的(H,V)比率/分割区域#1的(H,V)比率，Loss2(aspect ratio)＝输入源#2的比率(H,V)/分割区域#2的(H,V)比率，并且LossN(aspect ratio)＝输入源#N的(H,V)比率/分割区域#N的(H,V)比率。
例如，处理器130可以基于分辨率损失信息和宽高比损失信息来识别累积损失信息，并且识别多个第二格式信息中具有最小累积损失信息的第二格式信息。例如，处理器130可以识别能够以最小损失表达输入图像源的信息的第二格式信息。
例如，累积损失信息可以被计算为arg_min(a*分辨率损失+b*宽高比损失)(其中a＝1-b)。
处理器130可以基于多个屏幕的布局信息投影多个图像(S570)。
根据实施例，处理器130可以控制图像投影单元110基于多个屏幕的布局信息来投影指示多个屏幕的放置状态的UI信息。随后，当响应于用户命令选择投影的UI信息时，处理器130可以基于多个屏幕的布局信息提供多视图模式。这里，UI信息可以包括用于调整多个屏幕的尺寸、方向或角度中的至少一个的引导UI。
图6是被提供用于解释根据一个或多个实施例的电子装置的控制方法的流程图。
根据图6所示的实施例，处理器130可以基于捕获投影表面的图像来识别投影表面的特征信息(S310)。例如，投影表面的特征信息可以包括投影表面的形状信息、结构信息、尺寸信息、颜色信息、反射率信息或障碍物信息中的至少一个。
处理器130可以识别与以多视图模式提供的多个图像相对应的第一格式信息。例如，与多个图像相对应的第一格式信息可以包括多个图像中的每一个的分辨率信息或宽高比信息中的至少一个。
当响应于用户命令而选择多个图像中的一个图像的位置(S630：是)时，处理器130可以识别与多个图像中的剩余图像相对应的第一格式信息(S640)。例如，处理器130可以识别与剩余图像相对应的分辨率信息、宽高比信息、位置信息或方向信息中的至少一个。
处理器130可以基于投影表面的特征信息和第一格式信息来获得与剩余图像相对应的屏幕的布局信息(S650)。例如，当响应于用户命令而选择多个图像中的一个图像的分辨率和宽高比时，处理器130可以固定相应图像的投影区域，并且基于投影表面的剩余区域的尺寸以及多个图像中的剩余图像的分辨率和宽高比来获得与剩余图像相对应的屏幕的布局信息。
处理器130可以控制图像投影单元110，使得在所选择的区域中提供由用户选择的图像，并且基于多个屏幕的布局信息来提供剩余图像(S660)。
图7是被提供用于解释根据一个或多个实施例的电子装置的控制方法的流程图。
根据图7所示的实施例，处理器130可以基于捕获投影表面的图像来识别包括在投影表面中的平面的数量(S710)。例如，处理器130可以通过捕获投影表面的图像中的角点检测来识别平面的数量。
处理器130可以识别每个识别的平面的有效投影图像的区域、方向和宽高比(或比例)(S720)。
处理器130可以基于所识别的有效投影图像的区域、方向和宽高比(或比例)来提供用于多视图模式的引导UI(S730)。例如，处理器130可以提供缩略图形式的引导UI，其允许用户一眼就识别在多视图模式下可用的多个屏幕的放置状态。
处理器130可以基于经由引导UI选择的投影表面布局来获得与多个图像相对应的多个屏幕的布局信息(S740)。
处理器130可以基于多个屏幕的布局信息来投影多个图像(S750)。
图8A至图8E是被提供用于解释根据一个或多个实施例的在投影环境中提供多视图模式的方法的视图。
参考图8A，处理器130可以通过角点检测来识别捕获投影表面的图像中的平面的数量。
例如，如图8A所示，如果角坐标的数量被识别为四个，则可以将其识别为单侧投影。另外，如果角坐标的数量被识别为六个，则可以将其识别为两侧投影。此外，如果角坐标的数量被识别为七个，则可以将其识别为三侧投影。
参考图8B，处理器130可以通过执行几何校准来以个体表面为基础估计有效图像的投影区域、投影方向和宽高比(或比例)。
例如，如图8B中所示，表面的比率可以被估计为前/左/400×300/大约4:3，表面的比率可以被估计为前/右/300×300/大约1:1，且表面的比率可以被估计为底部/中心/400×300/大约4:3。
参考图8C和图8D，处理器130可以向用户提供关于投影表面中可用的多视图配置的信息，并且可以允许用户选择多视图配置。例如，如图8C和图8D所示，处理器130可以在投影表面上提供引导以允许用户选择三个表面或两个表面(a-b、a-c或b-c)。
例如，如果用户选择比检测到的有效表面的数量更少的表面，则处理器130可以与其他表面不同地处理未选择的表面。例如，处理器130可以利用特定颜色(例如，黑色(或类似颜色))处理未选择的表面。例如，如果用户不希望底表面可用作投影表面，则处理器130可以用黑色处理底表面，使得仅表面和表面可用作投影表面。
例如，处理器130可以提供用于调整投影表面的调整引导，以减少有效投影表面的数量并增加有效区域。例如，可以提供箭头形状的调节引导。
参考图8E，在基于预设事件进入多视图模式时，处理器130可以自动选择要提供给用户选择的多个表面的多个图像源，或者可以基于关于用户选择的多个图像源的信息自动推荐多视图屏幕配置。例如，预设事件可以包括选择多视图模式的事件或选择多个图像源的事件。
例如，如图8E所示，处理器130可以自动选择要在两个表面(表面 )上显示的图像源，或者可以基于关于用户选择的两个图像源的信息自动推荐如图8E所示的多视图屏幕配置。例如，处理器130可以优选地将输入源中具有最高分辨率的输入源或最适合于16:9比率的输入源放置在表面上，并且可以优选地将输入源(例如，智能电话镜像)中最适合于9:16比率的输入源放置在表面上。在这种情况下，处理器130可以基于组合来计算损失信息。例如，损失函数可以被计算为损失＝Σ(推荐的放置图像规范-输入源规范)。例如，分辨率损失可以被计算为分辨率损失＝Σ(输入分辨率-能够由投影仪输出的分辨率)，并且比率损失可以被计算为比率损失＝Σ(输入源比率/能够由投影仪输出的比率)。
根据实施例，当不存在用于特定屏幕比率的输入源时，例如，当仅存在用于4:3或16:9的图像比率的输入源时，可以提供用于引导投影仪屏幕调整的UI。例如，UI可以包括用于调整显示方向和/或显示角度的UI。
图9是被提供用于解释根据一个或多个实施例的电子装置的控制方法的流程图。
根据图9所示的实施例，当识别出投影表面的特征时(S910)，处理器130可以基于识别出的特征信息对投影屏幕执行梯形校正(S920)。
例如，处理器130可以提取允许单个平面被人类视觉特性感知为多个平面的因素。例如，处理器130可以通过考虑投影仪中的投影表面的特征和人眼可以根据该特征识别为单独的分割表面的因素来计算多个分割表面。根据人类视觉的特性，当输出单个内容屏幕时，可以在投影表面内检测角落、一些线性形状/结构、颜色和反射率差异中的一个或多个。这可能导致干扰单个屏幕的感知的可见性失真。这些特性可以用作激活多视图功能的提示，该多视图功能将多个输入图像源组织成多个平面，即使它们被投影到单个平面上。
例如，处理器130可以执行失真校正操作，诸如梯形校正，以在多个平面上输出矩形或正方形形状的屏幕。一旦完成梯形校正，就可以将在其上执行梯形校正的投影表面划分为多个平面区域。
处理器130可以识别多个输入源的规范信息。例如，处理器可以识别多个输入源的分辨率和宽高比，并将所识别的信息存储在存储器120中(S930)。
处理器130可以识别可以在梯形校正之后输出到投影表面的有效区域信息，并将识别的信息存储在存储器120中(S940)。
处理器130可以基于存储在存储器120中的多个输入源的规范信息和可输出到投影表面的有效区域信息来计算损失信息(S950)。例如，处理器130可以识别多个输入源的规格信息(例如，第一格式信息)与多个有效区域信息(例如，如图4A至图4C所示的第二格式信息)之间的损失信息。
基于计算的损失信息，处理器130可以将投影表面区域划分为区域(S960)并将每个输入源与划分的区域匹配(S970)。例如，当识别出具有最小损失的划分区域时，处理器130可以将每个输入源与对应的划分区域匹配。
当每个输入源提供与划分区域匹配的UI并且经由UI执行用户确认和/或调整时(S980)，处理器130可以执行多视图操作(S990)。例如，当用户将特定图像的位置改变为特定划分区域时，处理器130可以重新识别在将对应图像保持在对应划分区域中的同时使损失最小化的布局，并将其提供给用户以进行确认。
根据实施例，处理器130可以提供推荐具有最小损失和源放置的多视图布局以在每个表面上显示的UI。例如，处理器130可以以缩略图的形式为每个表面提供源放置，并且当用户选择所提供的缩略图时，可以基于对应的源放置提供多视图模式。
根据实施例，当接收到重新定位图像源的用户命令时，处理器130可以基于重新定位来引导诸如屏幕尺寸、颜色等的观看约束信息，并且一旦用户确认重新定位，就基于重新定位提供多视图模式。
根据上述各种实施例，当使用投影仪提供多视图模式时，可以以适合于观看空间的布局提供多视图模式，从而提高用户便利性。此外，UX体验不仅可以在家庭环境中改善，而且可以在诸如咖啡馆内部的企业对企业环境中改善。
同时，根据上述各种实施例的方法可以仅通过现有电子装置的软件升级或硬件升级来实现。
可替代地，上述各种实施例可以通过包括在电子装置中的嵌入式服务器或电子装置的外部服务器来执行。
同时，根据实施例，上述各种实施例可以在包括存储在机器可读存储介质中的指令的软件中实现，该指令可以由机器(例如，计算机)读取。机器可以是从存储介质调用所存储的指令并基于所调用的指令来操作的设备，并且可以包括根据实施例的显示设备(例如，显示装置(A))。在指令由处理器执行的情况下，处理器可以直接执行与指令相对应的功能，或者其他组件可以在处理器的控制下执行与指令相对应的功能。指令可以包括由编译器或解释器生成或执行的代码。机器可读存储介质可以以非暂时性存储介质的形式提供。这里，术语“非暂时性”指示存储介质是有形的而不包括信号，并且不区分数据是半永久地还是临时地存储在存储介质中。
此外，根据本公开的一个实施例，可以在计算机程序产品中提供根据上述各种实施例的方法。计算机程序产品是商品，并且可以在卖方和买方之间交易。计算机程序产品可以以设备可读存储介质(例如，光盘只读存储器(CD-ROM))的形式分发，或者通过应用商店(例如，PlayStoreTM)在线分发。在在线分发的情况下，计算机程序产品的至少一部分可以存储在或至少临时生成在存储介质中，诸如制造商的服务器、应用商店的服务器或中继服务器的存储器。
此外，根据上述各种实施例的每个组件(例如，模块或程序)可以包括单数或复数个对象，并且可以省略上述一些对应的子组件，或者可以在各种实施例中进一步包括其他子组件。替代地或附加地，一些组件(例如，模块或程序)可以集成到单个对象中，该单个对象执行与在集成之前由相应组件中的每一个执行的功能相同或相似的功能。根据各种实施例，由模块、程序或其他组件执行的操作可以顺序地、并行地、迭代地或启发式地执行，或者至少一些操作可以以不同的顺序执行、省略，或者可以添加其他操作。
尽管上面已经示出和描述了本公开的优选实施例，但是本公开不限于上述具体实施例，并且本领域普通技术人员可以在不脱离如权利要求中要求保护的本公开的精神的情况下进行各种修改，并且这些修改不应被理解为与本公开的技术概念或前景隔离。

Claims (15)

1.一种电子装置，包括：
图像投影单元；
存储器，被配置为存储至少一个指令；以及
一个或多个处理器，被配置为通过执行至少一个指令来：
基于捕获投影表面的图像，识别投影表面的特征信息，
识别与以多视图模式提供的多个图像相对应的第一格式信息，
基于投影表面的特征信息和第一格式信息，获得与多个图像相对应的多个屏幕的布局信息，和
控制图像投影单元，使得基于布局信息将多个图像投影到投影表面。
2.根据权利要求1所述的电子装置，其中，
投影表面的特征信息包括形状信息、结构信息、尺寸信息、颜色信息、反射率信息或障碍物信息中的至少一个，
与多个图像相对应的第一格式信息包括所述多个图像的分辨率信息或宽高比信息中的至少一个，并且
多个屏幕的布局信息包括多个屏幕的分辨率信息、宽高比信息、位置信息或方向信息中的至少一个。
3.根据权利要求1所述的电子装置，其中，一个或多个处理器被配置为通过执行至少一个指令来：
基于投影表面的特征信息对投影表面执行梯形校正；
识别与在其上执行梯形校正的投影表面相对应的多个第二格式信息；
基于第一格式信息和多个第二格式信息来识别损失信息；以及
基于损失信息获得多个屏幕的布局信息。
4.根据权利要求3所述的电子装置，其中，一个或多个处理器被配置为通过执行至少一个指令来：
基于第一格式信息和多个第二格式信息之间的相似度来识别与多个第二格式信息中的每一个相对应的损失信息；以及
基于多个第二格式信息中具有最小损失信息的第二格式信息来获得多个屏幕的布局信息。
5.根据权利要求3所述的电子装置，其中，一个或多个处理器被配置为通过执行至少一个指令来：
基于第一格式信息和多个第二格式信息之间的相似度，识别与包括在多个第二格式信息中的分辨率信息和宽高比信息中的每一个相对应的损失信息；
基于与分辨率信息和宽高比信息中的每一个相对应的损失信息来识别累积损失信息；以及
识别多个第二格式信息中具有最小累积损失信息的第二格式信息。
6.根据权利要求3所述的电子装置，其中，一个或多个处理器被配置为通过执行至少一个指令来：
识别包括在第一格式信息中的第一分辨率信息与包括在多个第二格式信息中的多个第二分辨率信息之间的多个第一损失信息；
识别包括在第一格式信息中的第一宽高比信息与包括在多个第二格式信息中的多个第二宽高比信息之间的多个第二损失信息；
基于多个第一损失信息和多个第二损失信息来识别与多个第二格式信息中的每一个相对应的累积损失信息；以及
基于所识别的累积损失信息来识别多个第二格式信息中具有最小累积损失信息的第二格式信息。
7.根据权利要求1所述的电子装置，其中，一个或多个处理器被配置为通过执行至少一个指令来：
控制图像投影单元基于多个屏幕的布局信息投影指示所述多个屏幕的放置状态的UI信息；以及
基于所投影的UI信息响应于用户命令被选择，基于多个屏幕的布局信息来提供多视图模式。
8.根据权利要求7所述的电子装置，其中，UI信息包括用于调整多个屏幕的尺寸、方向或角度中的至少一个的引导UI。
9.根据权利要求1所述的电子装置，其中，一个或多个处理器被配置为通过执行至少一个指令来：
基于多个图像中的一个图像的位置响应于用户命令被选择，识别与多个图像中的剩余图像相对应的第一格式信息；
基于投影表面的特征信息和第一格式信息，获得与剩余图像相对应的屏幕的布局信息；以及
控制图像投影单元基于所获得的布局信息来提供剩余图像。
10.根据权利要求1所述的电子装置，其中，一个或多个处理器被配置为通过执行至少一个指令来：
识别在捕获投影表面的图像中包括的多个平面；
识别对于所识别的平面中的每个平面有效的投影图像的区域、方向和比例；
基于所识别的有效投影图像的区域、方向和比例来提供用于多视图模式的引导UI；以及
基于通过引导UI选择的投影表面布局，获得与多个图像相对应的多个屏幕的布局信息。
11.一种电子装置的控制方法，包括：
基于捕获投影表面的图像，识别投影表面的特征信息；
识别与以多视图模式提供的多个图像相对应的第一格式信息；
基于投影表面的特征信息和第一格式信息，获得与多个图像相对应的多个屏幕的布局信息；以及
基于布局信息将多个图像投影到投影表面。
12.根据权利要求11所述的控制方法，其中，
投影表面的特征信息包括形状信息、结构信息、尺寸信息、颜色信息、反射率信息或障碍物信息中的至少一个，
与多个图像相对应的第一格式信息包括多个图像的分辨率信息或宽高比信息中的至少一个，并且
多个屏幕的布局信息包括多个屏幕的分辨率信息、宽高比信息、位置信息或方向信息中的至少一个。
13.根据权利要求11所述的控制方法，其中，获得多个屏幕的布局信息包括：
基于投影表面的特征信息对投影表面执行梯形校正；
识别与在其上执行梯形校正的投影表面相对应的多个第二格式信息；
基于第一格式信息和多个第二格式信息来识别损失信息；以及
基于损失信息获得多个屏幕的布局信息。
14.根据权利要求13所述的控制方法，其中，
识别损失信息包括基于第一格式信息和多个第二格式信息之间的相似度来识别与多个第二格式信息中的每一个相对应的损失信息，以及
获得多个屏幕的布局信息包括基于多个第二格式信息中具有最小损失信息的第二格式信息来获得所述多个屏幕的布局信息。
15.一种存储计算机指令的非暂时性计算机可读存储介质，所述计算机指令在由电子装置的处理器执行时使所述电子装置执行操作，所述操作包括：
基于捕获投影表面的图像，识别投影表面的特征信息；
识别与以多视图模式提供的多个图像相对应的第一格式信息；
基于投影表面的特征信息和第一格式信息，获得与多个图像相对应的多个屏幕的布局信息；以及
基于布局信息将多个图像投影到投影表面。
CN202480001724.XA 2023-08-18 2024-05-10 电子装置及其控制方法 Pending CN119856484A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR1020230108137A KR20250026970A (ko) 2023-08-18 2023-08-18 전자 장치 및 그 제어 방법
KR10-2023-0108137 2023-08-18
PCT/KR2024/006363 WO2025041966A1 (ko) 2023-08-18 2024-05-10 전자 장치 및 그 제어 방법

Publications (1)

Publication Number Publication Date
CN119856484A true CN119856484A (zh) 2025-04-18

Family

ID=94608914

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202480001724.XA Pending CN119856484A (zh) 2023-08-18 2024-05-10 电子装置及其控制方法

Country Status (3)

Country Link
US (1) US20250063148A1 (zh)
EP (1) EP4686193A1 (zh)
CN (1) CN119856484A (zh)

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102653252B1 (ko) * 2019-02-21 2024-04-01 삼성전자 주식회사 외부 객체의 정보에 기반하여 시각화된 인공 지능 서비스를 제공하는 전자 장치 및 전자 장치의 동작 방법

Also Published As

Publication number Publication date
US20250063148A1 (en) 2025-02-20
EP4686193A1 (en) 2026-01-28

Similar Documents

Publication Publication Date Title
US11062422B2 (en) Image processing apparatus, image communication system, image processing method, and recording medium
KR102423295B1 (ko) 심도 맵을 이용하여 객체를 합성하기 위한 장치 및 그에 관한 방법
JP7703838B2 (ja) 画像処理方法、プログラムおよび画像処理システム
CN111694528B (zh) 显示墙的排版辨识方法以及使用此方法的电子装置
KR102402148B1 (ko) 전자 장치 및 그의 문자 인식 방법
CN104428474B (zh) 光屏蔽装置、光屏蔽方法以及程序
WO2021213067A1 (zh) 物品显示方法、装置、设备及存储介质
KR20220166699A (ko) 전자 장치 및 그 제어 방법
CN114358112A (zh) 视频融合方法、计算机程序产品、客户端及存储介质
US20240015272A1 (en) Electronic apparatus and control method thereof
CN111567054B (zh) 图像处理方法及其显示装置
US10162997B2 (en) Electronic device, computer readable storage medium and face image display method
CN108781251A (zh) 图像处理装置、图像处理方法和图像处理系统
KR102581146B1 (ko) 디스플레이 장치 및 그 제어 방법
EP4686193A1 (en) Electronic device and control method therefor
KR20250026970A (ko) 전자 장치 및 그 제어 방법
KR20240045049A (ko) 전자 장치 및 그 동작 방법
KR20190018845A (ko) 전자 장치 및 그의 제어 방법
US20250260794A1 (en) Electronic device and method for controlling same
KR20250098601A (ko) 전자 장치 및 그 제어 방법
KR20250106881A (ko) 전자 장치 및 그 제어 방법
KR20250094321A (ko) 전자 장치 및 그 제어 방법
KR20180070448A (ko) 논리적 화면 표시장치 생성 시스템 및 방법
KR20260019714A (ko) 전자 장치 및 그 제어 방법
KR20240127199A (ko) 전자 장치 및 이의 제어 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination